来自Jeff Dean的分布式系统设计模式 : 弯曲评论

来源：百度文库 编辑：神马文学网 时间：2024/04/30 11:28:38

来自Jeff Dean的分布式系统设计模式

作者 ikewu83 | 2010-08-04 07:02 | 类型 云计算, 行业动感 | 1条用户评论 »

 

本文是Google院士jeff dean在今年SOCC大会上的一次演讲的笔记，主要介绍了一些用于设计分布式系统的模式，原文地址，这次演讲的视频地址（需要安装Silverlight）。

分布式系统设计模式

 

    1. 系统失败是很平常的事情：每年有1-5%的硬盘会报废，服务器每年会平均宕机两次，报废几率在2-4%几率。
    2. 将一个大而复杂系统切分为多个服务：而且服务之间依赖尽可能的少，这样有助于测试，部署和小团队独立开发。例子：一个google的搜索会依赖100多个服务。ike：需要一套机制来确保服务的fault-tolerant，不能让一个服务的成败影响全局。
    3. 需要有Protocol Description Language：比如protocol buffers。ike：这样能降低通信方面的代码量。
    4. 有能力在开发之前，根据系统的设计来预测性能：在最下面有一些重要的数字。
    5. 在设计系统方面，不要想做的很全面，而是需要抓住重点。
    6. 为了增量做设计，但不为无限做设计：比如：要为5-50倍的增量做设计，但超过1000倍了，就需要重写和重新设计了。
    7. 使用备份请求来降低延迟：比如一个处理需要涉及1000台机器，通过备份请求这个机制来避免这个处理被一台慢机器延误。ike：这个机制非常适合MapReduce。
    8. 使用范围来分布数据，而不是Hash：因为这样在语义上比较简单，并且容易控制。ike：在大多数情况下语义比性能更重要，不要为了20%的情况hardcode。
    9. 灵活的系统，根据需求来伸缩：并且当需求上来的时候，关闭部分特性，比如：关闭拼写检查。
    10. 一个接口，多个实现。
    11. 加入足够的观察和调式钩子（hook）。
    12. 1000台服务器只需单一Master：通过Master节点来统一指挥全部的行动，但客户端和Master节点的交互很少，以免Master节点Crash，优点是，在语义上面非常清晰，但伸缩性不是非常强，一般最多只能支持上千个节点。
    13. 在一台机器上运行多个单位的服务：当一台机器宕机时，能缩短相应的恢复时间，并且支持细粒度的负载均衡，比如在BigTable中，一个Tablet服务器会运行多个Tablet。

 

图1. 重要的数字

 

未来的挑战

 

    1. 全球级（world-wide）系统的适应性方面：如何自动地分配和放置数据和计算来降低延迟和成本。
    2. 在弱一致性（weakly consistent）的存储上搭建应用：如何轻松使用抽象来解决多版本之间的冲突。
    3. 分布式系统的抽象：如何用同一个抽象来统一多个分布式系统。
(1个打分， 平均：4.00 / 5)

工具箱
本文链接 |邮给朋友 | 打印此页 | 1条用户评论 »

雁过留声

“来自Jeff Dean的分布式系统设计模式”有1个回复

  1. 理客 于 2010-08-04 8:57 pm

    很好的大型系统实践原则，理论和实践如何互相促进，就是学而时习之

来自Jeff Dean的分布式系统设计模式 : 弯曲评论 分布式交换机技术难点讨论 : 弯曲评论 Tinyfool的开发日记: Google大牛Jeff Dean在WSDM（ACM的Web... 数据中心可扩展网络设计 : 弯曲评论 多核操作系统–来自大辽MIT的研究 : 弯曲评论 思科的2009 : 弯曲评论 YunTable-云时代的BigTable : 弯曲评论 天河一号的内幕。。。 : 弯曲评论 分布式网络信息资源重构模式及系统实现 分布式网络信息资源重构模式及系统实现 10岁孩子的MFC教程 : 弯曲评论 有感于“研发人员的个人培养和组织培养” : 弯曲评论 深入分析IBM的云计算解决方案 : 弯曲评论 初探云计算的未来，超市还是电厂？ : 弯曲评论 PoP点扁平化的网络拓扑趋势 : 弯曲评论 移民潮导致中坚阶层的集体流失 : 弯曲评论 Google App Engine 的简易教程 : 弯曲评论 A股暴跌的阴谋–进场 : 弯曲评论 Juniper的T系列相关文档。。。 : 弯曲评论 系统软件研究的一些调查数据 : 弯曲评论 46兆瓦用电效率1.1的水冷数据中心 : 弯曲评论 国内的财富和不安全感 : 弯曲评论 云计算背后的秘密（3）-BigTable : 弯曲评论 Jeff 的纸雕