神马文学网Google成功的技术秘诀：购买廉价计算机
来源：百度文库 编辑：神马文学网 时间：2024/04/28 08:23:27
Google成功的搜索引擎幕后的技术英雄非常简单：解决PC崩溃问题。
美国加利福尼亚州伯林格姆当地时间本周三，Google负责技术和运营的副总裁Urs Hoelzle在EclipseCon会议上透露了Google数据中心运行的一些秘密。许多人都认为，Google在运行数据中心方面的经验比其搜索算法更宝贵。
Google能够以数以百万美元计，而不是数以千万美元计的资金构筑其计算基础设施的秘密是：购买相对廉价的计算机。通过研究硬件成本，Google 的技术人员发现，购买一些高端服务器的成本要远高于数十台更简单的“大众化”服务器。这种策略的难题就在于使这些硬件协调地运行，确保一台计算机的故障不会影响任务的执行，例如返回搜索结果或显示广告。
Hoelzle说，我们考虑到了家用PC。家用PC因软件和硬件缺陷而造成的崩溃每3年才会发生一次。他说，如果拥有数千台PC，每天有一台PC崩溃是很正常的。因此，最好是能够以自动的方式解决这一问题，否则服务肯定会出现问题。
Google已经开发了大量的软件工具，来完成计算设备的安装。它开发了被称为 “Google文件系统”的文件系统，能够处理64MB大小的数据块。更为重要的是，它能够应付随时可能发生的磁盘或网络故障。Hoelzle说，我们开发了容错软件。如果有应付故障的措施，PC就完全可以担负提供互联网服务的重任。Google数以千计的PC服务器运行一种基于Red Hat版本的简化版Linux，该版本只是针对Google专门修改的操作系统内核。
Google还设计了一种能够处理海量数据、迅速响应查询的系统，它将整个Web划分为数以百万计的Google的技术人员称之为shard的小块儿。Google创建了一个出现在Web上的词汇的索引，但它还有大量的文档服务器存储收集的网页。
据Hoelzle称，Google另一个重要的技术创新是，使在数以千计的服务器上运行的软件的开发非常简单。通常情况下，开发在并行服务器上运行的应用软件需要专门的编程工具和技能。名为MapReduce的这款编程工具对于 Google降低成本是非常重要的。Hoelzle说，成本是购买设备的成本和编写软件的编程时间之和。从去年开始，Google已经开始大面积使用 MapReduce编程工具。
Google还开发了批量任务调度软件。名为Global Work Queue的这款软件能够将计算工作分解成许多更小的任务，并将它们分配给各台计算机完成。
Hoelzle表示，尽管考虑了故障问题，但这还不能解决所有问题。在演讲中，它展示了用于应对Google数据中心发生的紧急事件的6辆救火车的照片。
在接受CNET News.com采访时，Hoelzle表示，电力成本是Google的数据中心设计中的另一个重要因素。他说，不包括人力成本在内的运行成本直接与电力成本相关。电力是降低数据中心运行成本的一个因素，我们不但要降低设备采购费用，还需要降低运行成本。
美国加利福尼亚州伯林格姆当地时间本周三，Google负责技术和运营的副总裁Urs Hoelzle在EclipseCon会议上透露了Google数据中心运行的一些秘密。许多人都认为，Google在运行数据中心方面的经验比其搜索算法更宝贵。
Google能够以数以百万美元计，而不是数以千万美元计的资金构筑其计算基础设施的秘密是：购买相对廉价的计算机。通过研究硬件成本，Google 的技术人员发现，购买一些高端服务器的成本要远高于数十台更简单的“大众化”服务器。这种策略的难题就在于使这些硬件协调地运行，确保一台计算机的故障不会影响任务的执行，例如返回搜索结果或显示广告。
Hoelzle说，我们考虑到了家用PC。家用PC因软件和硬件缺陷而造成的崩溃每3年才会发生一次。他说，如果拥有数千台PC，每天有一台PC崩溃是很正常的。因此，最好是能够以自动的方式解决这一问题，否则服务肯定会出现问题。
Google已经开发了大量的软件工具，来完成计算设备的安装。它开发了被称为 “Google文件系统”的文件系统，能够处理64MB大小的数据块。更为重要的是，它能够应付随时可能发生的磁盘或网络故障。Hoelzle说，我们开发了容错软件。如果有应付故障的措施，PC就完全可以担负提供互联网服务的重任。Google数以千计的PC服务器运行一种基于Red Hat版本的简化版Linux，该版本只是针对Google专门修改的操作系统内核。
Google还设计了一种能够处理海量数据、迅速响应查询的系统，它将整个Web划分为数以百万计的Google的技术人员称之为shard的小块儿。Google创建了一个出现在Web上的词汇的索引，但它还有大量的文档服务器存储收集的网页。
据Hoelzle称，Google另一个重要的技术创新是，使在数以千计的服务器上运行的软件的开发非常简单。通常情况下，开发在并行服务器上运行的应用软件需要专门的编程工具和技能。名为MapReduce的这款编程工具对于 Google降低成本是非常重要的。Hoelzle说，成本是购买设备的成本和编写软件的编程时间之和。从去年开始，Google已经开始大面积使用 MapReduce编程工具。
Google还开发了批量任务调度软件。名为Global Work Queue的这款软件能够将计算工作分解成许多更小的任务，并将它们分配给各台计算机完成。
Hoelzle表示，尽管考虑了故障问题，但这还不能解决所有问题。在演讲中，它展示了用于应对Google数据中心发生的紧急事件的6辆救火车的照片。
在接受CNET News.com采访时，Hoelzle表示，电力成本是Google的数据中心设计中的另一个重要因素。他说，不包括人力成本在内的运行成本直接与电力成本相关。电力是降低数据中心运行成本的一个因素，我们不但要降低设备采购费用，还需要降低运行成本。