网格计算的硬件机遇 http://www.gridteam.com/release/9.html

网格计算的硬件机遇
http://www.GridTeam.com   2005-2-25   来源：网格工场
网格计算的硬件机遇
网格把整个因特网整合成一台巨大的超级计算机，资源共享是网格的根本特征。此外，我们可以把网格理解为一次前所未有的创新机会，它所带来的是科学理论的创新，是技术的创新，是产业模式的创新。虽然目前国际上网格的研究集中在软件上，但从本质上讲，网格是计算机体系结构的极大创新，当然包括硬件的创新机会。
业内专家认为网格的关键性创新集中在2003年～2005年出现，因此，我们应该紧紧抓住网格带来的硬件机遇！
网格把整个因特网整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享和协同。当然，网格并不一定非要这么大，也可以构造地区性网格（如中关村科技园区网格）、企事业内部网格、局域网网格、甚至家庭网格和个人网格。网格的根本特征并不一定是它的规模很大，而是资源共享，消除资源孤岛。
一般认为，网格的技术特征主要包括以下两部分：
● 资源共享，消除资源孤岛；协同工作。这两点是网格的基本技术要求。
● 通用开放标准，非集中控制，非平凡服务质量。这三点是Ian Foster最近提出的网格检验标准。
但笔者认为，除了以上两大技术特征之外，网格的特征还应包括：
● 动态功能，开放系统，单一系统映像。
不过，笔者认为对“什么是网格”这个问题的最重要的回答是：网格是1995～2010年时段计算机体系结构、操作系统、用户界面领域最重要的突破性创新机会。而且，网格不是一个已经成熟的、有定论的技术，它正在不断展开，是能够影响与创造的技术。因此，网格为中国提供了一个前所未有的创新机会，包括科学理论创新、技术创新和产业模式的创新。
像计算机历史上的IBM S/360系统、操作系统、关系数据库和Web一样，网格会产生计算机领域的新科学与新技术，导致业界重新洗牌，从而淘汰或超越现有产品，开辟庞大的新市场。因此说网格是突破性创新。
网格带来硬件创新机遇
目前国际上网格的研究集中在软件，尤其集中在网格操作系统和中间件层面。但是，从本质上讲，网格是计算机体系结构的创新机会，自然也就包括硬件的创新机会。我们可以从网格计算机的观点（见图1）来看这个问题。
一些专家认为，计算机领域的突破性创新只能来自器件层甚至更底层（如量子计算）。其实与器件技术正交的计算机系统技术，也可能产生突破性创新。IBM S/360系统的推出，产生了通用计算机家族、计算机体系结构、操作系统等根本技术，淘汰了绝大部分的专用计算机，为IBM公司带来了数千亿美元的市场收入，甚至改变了整个计算机产业的面貌。
现在世界上的分布式计算系统或网格计算系统领域，很像计算机工业在IBM S/360推出前的状况。它们大都是定制开发的专用系统，也有小部分是基于未能流行开来的准通用技术（如CORBA），它们甚至没有公共编码，这就像ASCII标准推出之前计算机系统使用FIELDATA、ITA2、Murray‘s code、Morse‘s code的混乱状况一样。这些系统无论是开发、部署、应用、管理、升级、还是集成的成本都很大。
就像IBM S/360对计算机系统领域所起到的突破性创新作用一样，网格也将是分布式系统的突破性创新。它正在产生通用分布式系统家族、标准的分布式系统体系结构、以及网格操作系统等技术。与强调“分布”的传统分布式系统不一样，网格更强调将局域或广域的分布式系统看成一台虚拟的网格计算机平台（见图2）。
网格的计算机观
如果将网格看成一台计算机，就不得不回答下述科学和技术的问题：
● 什么是这个网格计算机的公共编码？
● 什么是它的体系结构？
● 什么是它的存储器与地址空间？
● 什么是它的处理器与指令系统？
● 什么是它的外部设备？
● 什么是它的编程语言？
● 如何定义、设计与分析网格计算机
的算法？
● 什么是它的操作系统？
● 什么是它的数据库？
● 什么是它的应用软件？
对于这些问题的研究，将推动计算机科学与技术的发展，导致在体系结构、操作系统、用户界面领域的重新洗牌。
对于网格计算机的公共编码问题，业界已经有了回答，那就是XML（W3C的Henry Thompson称XML为分布式系统的ASCII码）。
对于网格计算机的体系结构问题，业界尚无明确的回答，但在操作系统层面已有一定共识，那就是OGSA/Globus。2003年推出的Globus Toolkit 3.0（GT 3.0）可能会是被广泛认可的网格操作系统的内核，而在2003年推出的OGSA Specification则是其框架。另外一组则是Web Service的体系结构，如.Net。这两组结构可能会最终合为一体。要注意的是，上述结构的研究者在开发它们的时候，主要是站在网格操作系统的层面考虑，对网格计算机的“硬件”体系结构则考虑不是很多。这方面的工作还几乎是一片处女地，有很多创新的机会。这方面的例子有：
● Intel已开始研究它的芯片如何支持网格和Web Service；
● 中科院计算所的曙光4000、水星（蓝鲸）、网格路由器、Vega-PG工作。
当然，这方面最重要的问题还是网格计算机的整体体系结构。传统CPU芯片的体系结构，可以分解成三个内容：地址空间、寄存器（包括状态寄存器）、指令系统。
地址空间是计算机体系结构的核心内容。它的一大进展发生在上世纪60年代，产生了物理地址、有效地址、逻辑地址、虚拟地址、动态寻址技术，从而使得分时系统、交互式系统、现代操作系统、有效的高级语言编程成为可能。
中科院计算所织女星网格最近的一个研究进展就是关于网格地址空间方面的，即网格资源定位（寻址）的工作。中科院计算所提出了“网格社区”技术，将网格资源分成物理资源、逻辑资源和虚拟资源三个层次，探讨了网格计算机的虚拟化工作，这有助于大大减化网格编程的难度。另一个进展是更基础层面的。在自图灵机以来的各种计算模型（如RAM、PRAM、BSP）中，地址空间的每个地址只能有读或写操作。中科院计算所同时提出了“主动存储计算机”（CAM）模型，增加了对地址的执行等主动操作，有助于更好地研究网格计算机指令系统（即WSDL、GSDL等网格协议），以及网格算法的设计与分析问题。
网格计算机的另两个不同点是自主控制和异步。
目前，国际上对网格体系结构的研究已有一定深度。下面举两个例子说明。
● 什么是网格计算机的主板？
一个相关的领域就是CDN。MIT和Akamai已有多年的研究。Akamai的基于Edge Server的体系结构不仅能够加速内容分发（Contents Delivery），而且已经能够加速应用分发（Applications Delivery），加速比高达5倍。
● 什么是网格计算机的CPU？
中科院计算所认为网格计算机的CPU是面向网格的超级服务器。网格上的一个应用特征就是Spike，越需要的服务请求就越多，Spike越大，这使得超级服务器提供的吞吐率大幅降低，延迟指数增加。国际上已有很多这方面的研究，其目标是使得在服务请求增多、服务器饱和时，吞吐率能够保持在（最大的）饱和值，延迟只有线性增加。要达到这个目标，需要系统层面的创新，改变目前服务器普遍使用的进程和线程模型。
从空白的切入
面对网格所带来的硬件创新机遇，中国的研发机构和相关企业也在把握时机。中科院计算所把研发重点放在同时具有下述三个特点的领域：大量中国用户迫切需要，国外研究还比较薄弱，技术上可能产生突破性创新。目前，国外网格研究有五个方面的缺陷：
第一，信息网格和知识网格还几乎是空白。
目前国外的研究集中在计算网格、数据网格、商业网格（Web Service）三个方面，在P2P和Access Grid方面也有很多工作，但在信息网格、知识网格方面工作很少。尽管GGF已有了Semantic Grid的一些工作，但还缺乏内容。
目前中科院计算所在织女星知识网格方面的研究工作在国际同行中处于领先行列，但要产生关系数据库这样的有影响的成果还需要做大量的工作。同时，中科院计算所在织女星信息网格方面也有很多机会。
第二，网格应用开发界面与使用界面还很差
GGF的界面领域还没有工作组，只有几个研究组，都在做偏重于计算和数据方面的研究。OGSA/Globus主要提供API界面。IBM、HP、Sun、BEA、微软等公司都推出了类似Visual Studio.Net这样的工具。但它们属于网格计算机的库函数开发工具的层次。
中科院计算所织女星网格小组正在研究开发的GSML软件包就是为了解决上述问题。目前国际同行尚未有相同工作。
第三，支持网格的超级服务器的需求尚不清楚。
高性能计算机如何支持网格？它的体系结构和操作系统该如何改变？这些问题目前还没有答案。这则是曙光4000/5000的创新机会。
这方面的一个进展是GGF关于使用CIM的共识。这样至少对Sun公司的服务器而言，网格与网格结点可以采用相容的资源信息服务标准，有助于网格与网格结点的无缝衔接。
第四，网格操作系统还不完善。
网格系统软件是网格研究界投入最多的领域。但目前它仍有很多不完善的地方。比如：
● 网格文件系统还几乎是空白（除微软Yukon计划之外）。
● 网格资源定位（亦称命名）还是个难题。网格用户身分（ID）还没有定论。Sun倡导的Liberty技术可能会成功。
● 网格授权与访问控制的工作还处于初级阶段。
第五，网格的基础研究还很薄弱。
这方面国际上还很少有成果发表。中科院计算所由诸葛海和徐志伟领头的四项工作已取得一些初步成果，四项工作如下： （下转E6版）
第一，网格资源空间模型。
第二，基于主动存储（CAM）的网格计算机模型。
第三，面向用户行为（BO）的信息网格时空模型。
第四，基于I/O自动机的网格安全模型。
目前，中科院计算所的织女星网格研究工作采用了“统一品牌、松散耦合”的组织方式，大体上分成知识网格、信息网格、服务网格、基础研究四个内容，参与人员涉及四个室，共100多人，研究领域包括：
● 织女星知识网格
● 织女星信息网格
● 织女星服务网格
● 织女星网格操作系统
● 织女星网格基础研究
中科院计算所正在进行的其它网格相关研究还有：
● 支持网格的蓝鲸存储服务器
● 面向网格的曙光超级服务器
正视网格研究中的不足
与国外同行相比，我们在网格研究中还应正视以下几个问题：
● 看不到网格是一种突破性创新技术，以及它带来的巨大机会，认为它只不过是又一种中间件技术。
● 潜意识地认为网格是别人的技术，没有意识到我们也是网格技术的创造者，自己必须要提出问题并回答问题。不要只依赖别人，只当学生。
● 对网格的学习和思考还很肤浅，技术和心态都比较落后。自称知道网格的人往往只看过一些别人的白皮书和介绍性文章，或粗浅地用过一些相关软件，缺乏自我系统思考和深入研究。
● 习惯于家庭作业方式，把问题推给上级和用户。由于网格是一种正在发展的新技术，新问题很多，这种心态对网格的创新就特别有害。
对因特网路线和Extreme Programming等有利于网格创新的技术路线领会不深，习惯于照搬落后的软件工程教条，很容易流于开发复杂而肤浅的系统。
网格的关键创新就在2003～2005这几年出现，我们一定要有危机感、紧迫感，抓住网格带来的硬件机遇。

图1 网格计算机观点（IBM）

图2 从单台计算机的发展史预测分布式系统（网格）的发展
专家答疑
网格的硬件机遇
Q&A
网格是不是分布式系统？
网格是一种分布式系统，但网格不同于传统的分布式系统。构建分布式系统有三种方法：传统（EDS）方法、分布自律系统（ADS）方法，网格（Grid）方法。网格方法与传统方法的区别见下表。
网格与传统分布式系统的区别

网格是不是下一代因特网？
有一些人把网格看成是未来互联网技术。国外媒体常用“下一代因特网”、“Internet2”、“下一代Web”等词语来称呼网格相关技术。要注意的是，“下一代因特网”（NGI）和“Internet2”又是美国的两个具体科研项目的名字，它们与网格研究目标相交，但研究内容和重点有很大不同。
笔者认为，一旦关于网格的一系列协议标准面世，就会推动产生全球网络应用的第三次浪潮（前两次是Internet、Web的出现）。简单地讲，传统因特网实现了计算机硬件的连通，Web实现了网页的连通，而网格试图实现互联网上应用层面的互联互通，这就意味着所有资源的全面连通，包括计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等。

网格的功能益处：应用层面的互连互通

网络的三次大浪潮
网格是一种中间件，还是一种操作系统？
目前国际上网格的研究看起来大量集中在中间件层面，但事实上正在创造下一代的操作系统和用户界面。比如，IBM已经把WebSphere变成了公司的一个品牌，甚至直截了当地说WebSphere就是“Internet operating system”。Ian Foster说他们的Globus的目标是成为“分布式计算的Linux”，他进一步确认，Globus就是开放源码的网格操作系统核心。
这种网格操作系统的基本结构继承了以前操作系统的做法，即一个核心（内核）加上一个框架，就像GNU/Linux一样。当我们说Linux操作系统时，我们实际上是指Linux核心中加上GNU环境（亦称框架）。
网格把整个因特网整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享和协同。当然，网格并不一定非要这么大，也可以构造地区性网格（如中关村科技园区网格）、企事业内部网格、局域网网格、甚至家庭网格和个人网格。网格的根本特征并不一定是它的规模很大，而是资源共享，消除资源孤岛。
一般认为，网格的技术特征主要包括以下两部分：
● 资源共享，消除资源孤岛；协同工作。这两点是网格的基本技术要求。
● 通用开放标准，非集中控制，非平凡服务质量。这三点是Ian Foster最近提出的网格检验标准。
但笔者认为，除了以上两大技术特征之外，网格的特征还应包括：
● 动态功能，开放系统，单一系统映像。
不过，笔者认为对“什么是网格”这个问题的最重要的回答是：网格是1995～2010年时段计算机体系结构、操作系统、用户界面领域最重要的突破性创新机会。而且，网格不是一个已经成熟的、有定论的技术，它正在不断展开，是能够影响与创造的技术。因此，网格为中国提供了一个前所未有的创新机会，包括科学理论创新、技术创新和产业模式的创新。
像计算机历史上的IBM S/360系统、操作系统、关系数据库和Web一样，网格会产生计算机领域的新科学与新技术，导致业界重新洗牌，从而淘汰或超越现有产品，开辟庞大的新市场。因此说网格是突破性创新。
网格带来硬件创新机遇
目前国际上网格的研究集中在软件，尤其集中在网格操作系统和中间件层面。但是，从本质上讲，网格是计算机体系结构的创新机会，自然也就包括硬件的创新机会。我们可以从网格计算机的观点（见图1）来看这个问题。
一些专家认为，计算机领域的突破性创新只能来自器件层甚至更底层（如量子计算）。其实与器件技术正交的计算机系统技术，也可能产生突破性创新。IBM S/360系统的推出，产生了通用计算机家族、计算机体系结构、操作系统等根本技术，淘汰了绝大部分的专用计算机，为IBM公司带来了数千亿美元的市场收入，甚至改变了整个计算机产业的面貌。
现在世界上的分布式计算系统或网格计算系统领域，很像计算机工业在IBM S/360推出前的状况。它们大都是定制开发的专用系统，也有小部分是基于未能流行开来的准通用技术（如CORBA），它们甚至没有公共编码，这就像ASCII标准推出之前计算机系统使用FIELDATA、ITA2、Murray‘s code、Morse‘s code的混乱状况一样。这些系统无论是开发、部署、应用、管理、升级、还是集成的成本都很大。
就像IBM S/360对计算机系统领域所起到的突破性创新作用一样，网格也将是分布式系统的突破性创新。它正在产生通用分布式系统家族、标准的分布式系统体系结构、以及网格操作系统等技术。与强调“分布”的传统分布式系统不一样，网格更强调将局域或广域的分布式系统看成一台虚拟的网格计算机平台（见图2）。
网格的计算机观
如果将网格看成一台计算机，就不得不回答下述科学和技术的问题：
● 什么是这个网格计算机的公共编码？
● 什么是它的体系结构？
● 什么是它的存储器与地址空间？
● 什么是它的处理器与指令系统？
● 什么是它的外部设备？
● 什么是它的编程语言？
● 如何定义、设计与分析网格计算机
的算法？
● 什么是它的操作系统？
● 什么是它的数据库？
● 什么是它的应用软件？
对于这些问题的研究，将推动计算机科学与技术的发展，导致在体系结构、操作系统、用户界面领域的重新洗牌。
对于网格计算机的公共编码问题，业界已经有了回答，那就是XML（W3C的Henry Thompson称XML为分布式系统的ASCII码）。
对于网格计算机的体系结构问题，业界尚无明确的回答，但在操作系统层面已有一定共识，那就是OGSA/Globus。2003年推出的Globus Toolkit 3.0（GT 3.0）可能会是被广泛认可的网格操作系统的内核，而在2003年推出的OGSA Specification则是其框架。另外一组则是Web Service的体系结构，如.Net。这两组结构可能会最终合为一体。要注意的是，上述结构的研究者在开发它们的时候，主要是站在网格操作系统的层面考虑，对网格计算机的“硬件”体系结构则考虑不是很多。这方面的工作还几乎是一片处女地，有很多创新的机会。这方面的例子有：
● Intel已开始研究它的芯片如何支持网格和Web Service；
● 中科院计算所的曙光4000、水星（蓝鲸）、网格路由器、Vega-PG工作。
当然，这方面最重要的问题还是网格计算机的整体体系结构。传统CPU芯片的体系结构，可以分解成三个内容：地址空间、寄存器（包括状态寄存器）、指令系统。
地址空间是计算机体系结构的核心内容。它的一大进展发生在上世纪60年代，产生了物理地址、有效地址、逻辑地址、虚拟地址、动态寻址技术，从而使得分时系统、交互式系统、现代操作系统、有效的高级语言编程成为可能。
中科院计算所织女星网格最近的一个研究进展就是关于网格地址空间方面的，即网格资源定位（寻址）的工作。中科院计算所提出了“网格社区”技术，将网格资源分成物理资源、逻辑资源和虚拟资源三个层次，探讨了网格计算机的虚拟化工作，这有助于大大减化网格编程的难度。另一个进展是更基础层面的。在自图灵机以来的各种计算模型（如RAM、PRAM、BSP）中，地址空间的每个地址只能有读或写操作。中科院计算所同时提出了“主动存储计算机”（CAM）模型，增加了对地址的执行等主动操作，有助于更好地研究网格计算机指令系统（即WSDL、GSDL等网格协议），以及网格算法的设计与分析问题。
网格计算机的另两个不同点是自主控制和异步。
目前，国际上对网格体系结构的研究已有一定深度。下面举两个例子说明。
● 什么是网格计算机的主板？
一个相关的领域就是CDN。MIT和Akamai已有多年的研究。Akamai的基于Edge Server的体系结构不仅能够加速内容分发（Contents Delivery），而且已经能够加速应用分发（Applications Delivery），加速比高达5倍。
● 什么是网格计算机的CPU？
中科院计算所认为网格计算机的CPU是面向网格的超级服务器。网格上的一个应用特征就是Spike，越需要的服务请求就越多，Spike越大，这使得超级服务器提供的吞吐率大幅降低，延迟指数增加。国际上已有很多这方面的研究，其目标是使得在服务请求增多、服务器饱和时，吞吐率能够保持在（最大的）饱和值，延迟只有线性增加。要达到这个目标，需要系统层面的创新，改变目前服务器普遍使用的进程和线程模型。
从空白的切入
面对网格所带来的硬件创新机遇，中国的研发机构和相关企业也在把握时机。中科院计算所把研发重点放在同时具有下述三个特点的领域：大量中国用户迫切需要，国外研究还比较薄弱，技术上可能产生突破性创新。目前，国外网格研究有五个方面的缺陷：
第一，信息网格和知识网格还几乎是空白。
目前国外的研究集中在计算网格、数据网格、商业网格（Web Service）三个方面，在P2P和Access Grid方面也有很多工作，但在信息网格、知识网格方面工作很少。尽管GGF已有了Semantic Grid的一些工作，但还缺乏内容。
目前中科院计算所在织女星知识网格方面的研究工作在国际同行中处于领先行列，但要产生关系数据库这样的有影响的成果还需要做大量的工作。同时，中科院计算所在织女星信息网格方面也有很多机会。
第二，网格应用开发界面与使用界面还很差
GGF的界面领域还没有工作组，只有几个研究组，都在做偏重于计算和数据方面的研究。OGSA/Globus主要提供API界面。IBM、HP、Sun、BEA、微软等公司都推出了类似Visual Studio.Net这样的工具。但它们属于网格计算机的库函数开发工具的层次。
中科院计算所织女星网格小组正在研究开发的GSML软件包就是为了解决上述问题。目前国际同行尚未有相同工作。
第三，支持网格的超级服务器的需求尚不清楚。
高性能计算机如何支持网格？它的体系结构和操作系统该如何改变？这些问题目前还没有答案。这则是曙光4000/5000的创新机会。
这方面的一个进展是GGF关于使用CIM的共识。这样至少对Sun公司的服务器而言，网格与网格结点可以采用相容的资源信息服务标准，有助于网格与网格结点的无缝衔接。
第四，网格操作系统还不完善。
网格系统软件是网格研究界投入最多的领域。但目前它仍有很多不完善的地方。比如：
● 网格文件系统还几乎是空白（除微软Yukon计划之外）。
● 网格资源定位（亦称命名）还是个难题。网格用户身分（ID）还没有定论。Sun倡导的Liberty技术可能会成功。
● 网格授权与访问控制的工作还处于初级阶段。
第五，网格的基础研究还很薄弱。
这方面国际上还很少有成果发表。中科院计算所由诸葛海和徐志伟领头的四项工作已取得一些初步成果，四项工作如下： （下转E6版）
第一，网格资源空间模型。
第二，基于主动存储（CAM）的网格计算机模型。
第三，面向用户行为（BO）的信息网格时空模型。
第四，基于I/O自动机的网格安全模型。
目前，中科院计算所的织女星网格研究工作采用了“统一品牌、松散耦合”的组织方式，大体上分成知识网格、信息网格、服务网格、基础研究四个内容，参与人员涉及四个室，共100多人，研究领域包括：
● 织女星知识网格
● 织女星信息网格
● 织女星服务网格
● 织女星网格操作系统
● 织女星网格基础研究
中科院计算所正在进行的其它网格相关研究还有：
● 支持网格的蓝鲸存储服务器
● 面向网格的曙光超级服务器
正视网格研究中的不足
与国外同行相比，我们在网格研究中还应正视以下几个问题：
● 看不到网格是一种突破性创新技术，以及它带来的巨大机会，认为它只不过是又一种中间件技术。
● 潜意识地认为网格是别人的技术，没有意识到我们也是网格技术的创造者，自己必须要提出问题并回答问题。不要只依赖别人，只当学生。
● 对网格的学习和思考还很肤浅，技术和心态都比较落后。自称知道网格的人往往只看过一些别人的白皮书和介绍性文章，或粗浅地用过一些相关软件，缺乏自我系统思考和深入研究。
● 习惯于家庭作业方式，把问题推给上级和用户。由于网格是一种正在发展的新技术，新问题很多，这种心态对网格的创新就特别有害。
对因特网路线和Extreme Programming等有利于网格创新的技术路线领会不深，习惯于照搬落后的软件工程教条，很容易流于开发复杂而肤浅的系统。
网格的关键创新就在2003～2005这几年出现，我们一定要有危机感、紧迫感，抓住网格带来的硬件机遇。

网格操作系统的基本结构