走下神坛的真实网格

来源:百度文库 编辑:神马文学网 时间:2024/05/16 18:02:15

走下神坛的真实网格

http://www.GridTeam.com   2005-3-1   来源:CCW

历来属于科学家和工程师研究领域的网格计算终于走向主流。CIO们要分析各自的应用软件,看看本企业能否得益于网格的功能和效益。
  
   衍生工具对货币管理人来说也许是根魔棒。使用得当的话,这类复杂的 金融合约可以控制风险,从而有助于维持利润,不过对其进行定价是关键所在。
   对瓦霍维亚公司这样的衍生工具卖家来说,评估风险和确定价格并非挥挥魔棒就能完成的。衍生工具建模软件相当复杂,需要运行大量的假设分析方案才能确定收盘价,并计算出衍生工具组合的风险状况。这种分析通常在采用多处理器的大型Unix机器上进行,所需时间可能长达9个小时。靠升级硬件解决这一问题不太现实。“升级后,计算时间能从9个小时缩短至4个半小时,”瓦霍维亚公司企业金融和投资银行业务部门的首席技术官Mark Cates说,“但我们需要在1小时内运行完毕。”
   解决办法不是购置昂贵硬件,而是利用廉价硬件。瓦霍维亚公司把上百台已经部署好的桌面机连成一个网格,充分利用每台机器的可用处理时间,结果取得了惊人效果:过去要一天或一夜完成的工作现在一小时内即可搞掂,这样就大大缩减了风险和定价决策过程。
   Cates说,与升级庞大的Unix环境相比,网格方案只需少量成本,且能获得更好的效果。他说:“我们发现处理功能猛增了10到20倍,而成本仅为硬件升级方案的25%。”
   瓦霍维亚公司并不是在冒险采用先进技术。由于软硬件技术的进步,许多公司已经开始利用网格工具。企业用户、尤其是金融服务行业的用户看到了网格的诸多好处:响应更快、新品上市时间缩短、计算功能单价降低。虽然网格要成为主流,还有一些障碍有待克服(目前许多应用软件根本无法迁移到网格),但网格再也不只是技术人员破译基因组或者设计飞机机翼的工具。
   网格与群集的区别
   网格不是什么新技术,其根源可以追溯到20世纪80年代早期的分布式计算项目,当时的科学家连接多台工作站,让复杂的数学问题或者软件编译可以利用闲置的CPU,从而大幅缩减处理时间。多年来,厂商和企业的IT部门一直在关注尝试利用现有资源大幅提高处理功能,但直到最近才出现了可以让普通商业应用软件在网格上运行的工具。
   结果,网格成了几乎每家厂商发起的“公用计算”营销活动的中心。负载均衡器、群集解决方案、刀片服务器,几乎任何一款产品在上市时都贴上了网格这块标签。但这并不代表它们就是网格。
   “三年前我初次接触网格时,Sun对网格的定义是包括群集的系统,”技术研究公司Clabby Analytics的总裁Joe Clabby说。照这种定义,Sun拥有的网格超过了5000个。不过,尽管网格和群集都是共享多个机器上的资源,但网格不同于群集,因为前者允许“对异构系统实行分布式资源管理”。换句话说,有了网格,你可以按需要迅速增加或减少系统――不必考虑位置、操作系统或者常规用途。而群集是重新构建,其作用是充当单一的计算功能池,因而灵活性不如网格。
   扩展性是关键
   对企业而言,扩展性能是网格的重要好处之一。如果具有网格功能的应用软件设计得当,网格就可以显著改进性能――新添一个处理器,即可把该处理器的全部功能添加到网格中。借助网格运算,添加两个或多个成本较低、速率较慢的处理器,所获得的功能远高于价格贵许多的一台高端机器。把足够多的处理器连接起来,就能超过某些超级计算机的运算功能。
   价格合理的扩展性能是促使Acxiom公司使用网格的关键。该公司专门为企业用户清洗和整理客户数据。譬如,Acxiom可以确定洛杉矶的Bob A. Smith和R. Albert Smith是不是同一个人?如果是,就把两人的客户数据并入一条记录。为此,Acxiom开发了一个“链接添加引擎”,一旦获得客户的姓氏和地址信息,就可建立链接并添加到数据库。该系统成效显著但工作量巨大大:每秒建立15000个链接且终日不断。Acxiom 产品主管C. Alex Dietz称:“网格计算非常适合于这种情况。获得一个姓名和地址,发给相应的网格节点。同时,把下一个姓名和地址发给另一个网格节点。”于是,Acxiom构建了4000个节点的网格系统,结果每个月能处理500亿条记录。
   网格还能以其他方式提供扩展性。兴业银行企业金融和投资银行集团债务融资部门的CIO Alain Benoist说,他部门在去年底改用了网格,以便更快地开发新的金融衍生工具产品,缩短为公司市场风险(即风险值)建模的时间。Benoist说:“为衍生工具开发定价模型的人对使用超级计算机并不精通。”相反,他们是用基于PC的工具如电子表格来开发衍生工具模型。然后,模型用通常的PC编程语言加以实现,并进行测试。通过测试的模型则被集成到生产应用软件中,运行在网格上面。
   但对许多公司来说,扩展性能和处理功能只是网格的一个方面,另一方面就是可以提高已有设备的利用率。
   提高PC的利用率
   据估计,一台桌面PC真正工作的时间平均不到20%,有些甚至只有5%。不过许多公司还是想购买新的服务器硬件,不是用来处理平均负载,而是处理峰值负载。而网格有望解决这个问题,它可以把这些闲置CPU的工作时间提高到40%、50%甚至80%。而Sun公司负责软件技术和计算机资源的副总裁Sunil Joshi声称,利用率可以提高到98%。
   Joshi没有说轻轻松松就能获得这么高的效率,不过他说,经过几年的实践,他在Sun为SPARC处理器设计管理计算资源的部门把尽量利用约1万枚具有网格功能的CPU变成了一门“艺术”。
   Joshi之所以有优势,是因为诸多工程应用软件很早就具有了网格功能。因而,他的部门可以设定哪个应用软件在何处运行,最大限度地利用每一台机器。譬如,一台机器可以运行为数据库处理大量I/O操作的某个应用软件,同时该机器的CPU还可以用来运行计算比较密集的另一个应用软件。目的就是让多种应用软件(高优先级、低优先级、CPU密集型和I/O密集型等应用软件)可以充分利用连入网格的每台计算机中的任何闲置资源。
   瑞士信贷第一波士顿(CSFB)的CIO兼总经理Philip Cushmaro说:“要提高利用率、提升处理能力,最省事的办法就是借助网格这样的技术。”
   Cushmaro所在组织早在1999年就开始用网格计算来完成夜间批处理工作,这项工作所需的时间不是特别多,可以充分利用原本浪费的CPU周期。但随着技术的不断进步,CSFB开始也把其他应用软件迁移到网格上,包括重要的金融风险管理工具。
   通用电气金融保险公司的高级副总裁兼CIO Debora Horvath也在考虑扩展网格的应用。去年秋天,她所在部门开始使用精算应用软件进行财务预测,这类计算过去在10台专用服务器上运行需要一天时间。但该公司把100台桌面机连起来后,只是汇集每台机器的闲置时间,性能就比专用服务器提高了10倍,而最终用户除了发觉响应更快外根本感觉不到什么变化。
   消除疑虑
   尽管网格优点多多,但广泛采用还是面临一些障碍,首当其冲的就是来自用户的抵抗。
   “每当你让客户采用大不相同的一门技术,他们就会表示怀疑,”Horvath说。“我们告诉大家打算拆走专用服务器,转而利用他们的PC后,就有人怀疑。但试用之后,他们就打消了怀疑。”
   实际上,据通用电气金融保险公司负责新技术和企业发展的副总裁Kevin Gordon声称,反对者改变想法前后用了不到一小时。他说:“我们请精算师来参加培训课,课程开始后,我们就把他们在夜间处理的工作拿来演示。20分钟内,我们就完成了工作,这时培训课还没结束。现在,那些怀疑者成了最有力的拥护者。”
   不过,想让大众改变观点并不总是这么容易。Ian Baird是网格软件生产商Platform Computing的首席业务设计师兼营销副总裁,他说:“如今在组织内部,资源非常分散、孤立。许多部门坚持采用服务器,不想对资源放手,”唯恐服务器消失、计算资源管理集中起来后,共享资源会导致失去控制权、部门预算减少。面对网格,人们往往担心自己的地位会受到影响,或者担心在网格中随意移动的数据其安全会受到危及。
   Baird说,CIO们要向管理人员和用户传达这一观点:采用网格管理,可以确定软件任务的轻重缓急,确保每个人都能获得自己的一份资源。网络安全系统可以确保数据不会落入坏人之手,哪怕数据是在众多分散的PC上面运行。用户也不会突然发觉因为工程人员需要借用一些计算功能而无法使用自己的PC。
   “网格引起的利益冲突是一大问题,”瓦霍维亚公司的Cates说。“我认为,这主要是因为不同业务部门失去了控制特定硬件的能力,不过随着网格方案得到公认、应用的推广,希望这问题不再是个问题。”
   几块绊脚石
   网格厂商和企业都认识到,要开发在分布式异构环境工作的工具,就亟需标准。兴业银行的Benoist说:“显然,如果你想改动应用软件、把它们迁移到网格上,在开放标准环境下你会觉得比较好,”那样应用软件才能与众多网格管理软件协同工作,而不是束缚于单单某家厂商。
   正因为明白这个问题,众多厂商和研究人员加入了几个标准机构,其中最重要的是全球网格论坛(GGF)、企业网格联盟(EGA)和Globus联盟。GGF的成员包括:HP、IBM、微软、Oracle、Sun和Platform Computing等厂商,它在努力制订标准,旨在建立一系列兼容的网格计算环境和应用。EGA由Oracle、HP、Sun及其他一些厂商建立的,它确定的目标是提供针对具有网格功能的企业应用软件的标准。EGA声称,其工作将是GGF的一部分。Globus联盟则由一批研究组织成立,其中包括阿尔贡国家实验室和芝加哥大学,得到了国防部高级研究计划署和美国科学基金会的资助。该组织通过其Globus Toolkit来实施标准,这个开放源代码开发套件让软件生产商可以促进网格开发。现有标准包括:开放网格服务架构(OGSA)、开放网格服务基础设施(OGSI)以及最近的Web服务资源框架。据GGF声称,今年晚些时候,Web服务资源框架将取代OGSI;它可以让网格软件生产商利用通用的Web服务标准,识别及利用网格计算资源。
   许可证和定价方面也存在其他问题。开发网格产品的厂商一定要想好对软件定价的方法。按照CPU或者按照客户定价的方法往往适用于数量保持相对静态的情况,但如果是网格,应用软件有可能在某分钟要占用500个处理器,而下一分钟可能一个也不用。就客户而言,对这些处理器每个都收费会导致网格丧失大部分成本效益,而采用“购买一次、随处使用”的定价模式会让厂商退出网格行业。最终,按照使用量的定价模式(可能基于OGSA提供的规范)会成为主导模式,不过跟踪计量的工具尚未成熟。
网格适合你吗?
   眼下,许多应用软件根本不适合网络计算,尤其是对数据处理的依赖超过对CPU功能依赖的应用软件,譬如大多数会计、CRM和ERP应用软件。这类应用软件得到大量数据后,往往会执行诸多功能,每项任务依赖前一项任务。这类应用软件通常在单处理器机器上用起来效果比较好。
   最适合网格的是这种应用软件:对成千上万的数据运行同样或相似的计算,前后的计算过程又不相互依赖。这种并行应用软件――包括众多的科学工具、加密以及上文提到的精算和衍生工具等应用软件――对网格来说很适合,因为它们几乎能完美地随着可以利用每个新添处理器的应用而扩展。
   毫无疑问,网格标准可以提供用来开发应用软件的通用框架,有助于把更多的软件迁移到网格上。而大软件公司如Oracle和SAP已经分别推出了产品,或者已经针对具有网格功能的应用软件启动了试验项目。通用汽车公司的CTO Tony Scott认为,Oracle及其他厂商进入网格领域表明:网格将开始促进企业IT工具所需要的支持性基础设施的发展。“我们不仅需要产品本身,还需要管理工具、配置工具、以及支持这些东西的整个生态系统。”
拥抱网格世界
   网格计算在不断发展。分析师和厂商现在至少确认了三种网格。虽然大多数人想到的是计算网格,但企业也在考虑数据网格。数据网格不共享计算功能,而是为内外交换数据用于数据挖掘和决策支持提供标准方法,音乐共享系统LimeWire和Kazaa就是典例。同时,协作网格可以让分散的用户共享及共同处理极其庞大的数据集。譬如,NEESgrid(www.neesgrid.org)可以让地震研究人员作为虚拟队伍,在网上共享数据、甚至共享科研设备。Clabby Analytics公司的Clabby还强调,一些特殊网格譬如公用网格、企业优化网格及其他网格在不断发展。简而言之,网格不会渐行渐远。
   有鉴于此,CIO们应当确认哪些业务职能和应用软件被赋予网格功能会可能从中受益。正如通用电气金融保险公司的Horvath所说:“我认为,CIO要找到回报像网格这么高的技术和应用非常困难。成本这么低,而好处这么多,所以它不容忽视。”