InfiniBand

来源:百度文库 编辑:神马文学网 时间:2024/05/02 06:01:49
InfiniBand技术是一种开放标准的、目前全球带宽最高的高速网络互联技术,InfiniBand产品是目前主流的高性能计算机互连设备之一。目前基于InfiniBand技术的网络卡的单端口带宽最大可达到20Gbps,基于InfiniBand的交换机的单端口带宽最大可达60Gbps,单交换机芯片可以支持达480Gbit每秒的带宽。到2006年,InfiniBand技术可以达到单端口120Gbps,其单端口的带宽甚至远高于目前的主流交换机的总带宽, 为目前和未来对于网络带宽要求非常苛刻的应用提供了可靠的解决方案。
InfiniBand 架构的这种快速增长主要得益于越来越多的企业级数据中心的建立部署和持续发展的高性能计算的应用。
•2004年1月,IBM开始将InfiniBand技术应用于其解决方案;
•2004年1月,SUN 开始推出InfiniBand解决方案;
•2004年2月,HP的InfiniBand 产品在市场上出现;
•2004年2月,Dell 开始推出InfiniBand解决方案;
•2004年5月,SKY Computer 的嵌入式InfiniBand方案被用于军事和工业应用;
•2004年6月,NEC开始应用InfiniBand到NEC刀片式服务器;
•2004年6月,SBS 公司率先宣布推出基于VXWorks的 InfninBand 驱动;
•2004年, HP和 Oracle多次刷新TPCH性能测试纪录;
•2004年11月,在美国国家航空和宇宙航行局(NCSA),SGI完成了基于InfiniBand互联技术的超级计算机,其运算速度位居世界第二。
•2005年4月,Cisco 公司宣布收购 InfiniBand 方案提供商-Topspin, 成为 InfiniBand 产品的最大用户。
除此之外,Apple、Hitachi、Fujitsu等厂商也都已推出了基于InfiniBand的解决方案;Engenio、NetApp、DataDirect、Engenio、Isilon、Terrascale和CFS等存储厂商也已推出或即将推出基于InfiniBand技术的存储解决方案;Arima,、Iwill,、SuperMicro和Tyan等服务器主机板厂商也陆续推出了基于InfiniBand芯片的LOM(Landed on Mainboard)方案。
而基于InfiniBand技术的芯片、网卡和交换机主要供应商Mellanox公司已取得里程碑式的销售成绩----50万个 InfiniBand 端口,这些端口体现在多种产品形式上,包括:集群服务器、高带宽交换机、嵌入式平台和集群存储系统。
由此可见,InfiniBand的整体解决方案已经成形,这个整体解决方案的出现,必将带来高性能计算平台和数据中心的一次变革,让长期以来一直高高在上的高性能解决方案变得大众化。
CPU、服务器与存储间的距离有多远
作者:郭涛
有业内人士指出,在未来网络存储架构的发展过程中,很可能是FC、iSCSI和InfiniBand三分天下。对于FC和iSCSI,人们已经耳熟能详,但是InfiniBand对很多人来说却是既熟悉又陌生。以前,我们偶尔可以从有关于高性能计算的介绍中看到InfiniBand,那么InfiniBand究竟是什么呢?Voltaire公司亚太区总经理司马聪一语道破:“InfiniBand是目前与CPU、内存距离最近的网络。” InfiniBand是由InfiniBand协会开发的体系结构技术。它是一种用于实现基于通道的交换式技术的通用I/O规范。服务器厂商最先使用InfiniBand技术支持多处理器集群,也可用于支持远程I/O和远程存储器。与TCP/IP协议相比,InfiniBand技术的一个主要变化是,InfiniBand硬件承担了原来由CPU完成的许多I/O通信工作,因此在处理并发的多路通信任务时,不会像其他通信协议那样产生额外开销。无需系统核心层介入,InfiniBand就可以提供零数据拷贝的传输,并使用硬件提供高可靠性和容错性的通信,改善系统的带宽、延迟和可靠性等问题。 InfiniBand最初的目标是把PCI总线网络化。InfiniBand诞生初期,由于许多大厂商对其发展前景并不看好,InfiniBand的发展也经历了几起几落。司马聪认为:“如今,InfiniBand已经找到了适合其生存的土壤。比如,使用InfiniBand,可以把更多的服务器连接起来,形成几百个节点,甚至几千个节点的集群。InfiniBand拉近了CPU、服务器、存储之间的距离。”在高性能计算领域,InfiniBand高速互联的特性得以充分发挥,而在存储网络中,InfiniBand同样有用武之地。InfiniBand具有对网络虚拟化的能力,可以把FC SAN、iSCSI、InfiniBand、NAS等整合在一个网络中。 Voltaire公司致力于销售和推广基于InfiniBand的硬件和软件解决方案,为高性能集群和网格提供InfiniBand骨干网络系统。1997年,Voltaire公司成立之初专注于网络安全领域,到2002年,公司全面转向InfiniBand市场,并实现了销售的快速增长。2005年,公司收入比2004年增长400%,是2003年的15倍。经过几轮融资,Voltaire公司的融资总额达到了6500万美元。正是看到越来越多的用户将InfiniBand作为高性能数据中心的互联技术,Voltaire加快了在全球的扩张。近日传来消息,Voltaire在美国纽约和日本东京设立了新办公室。司马聪介绍说:“在亚洲,教育、科研机构以及商业用户对Voltaire产品的需求呈现出明显的增长态势。日本东京工业大学采用Voltaire解决方案,构造出日本最大的超级计算机(由655台服务器组成),在全球TOP500排行榜上也名列前茅。”在中国市场,Voltaire目前还只是试探性进入。通过代理商,Voltaire的产品在中国已有销售,客户群主要集中在金融、制造、石油等行业。 Voltaire拥有齐全的InfiniBand交换机产品线,从最低端的24口交换机到最高端的288口导向器,以及用于刀片服务器中的交换机模块等。谈到InfiniBand未来的发展,司马聪说:“机架式产品内部的连接采用InfiniBand,机架之间的连接可以采用以太网;再下一步,整个数据中心的内部也都采用InfiniBand,数据中心之间的连接采用以太网,这将是未来的发展方向。”
Infiniband——替代TCP/IP的I/O革命者
2008-06-30 16:31 来源: 作者:网界 网友评论 0 条 浏览次数 22
有关Infiniband技术应该引起用户的足够重视。身世InfiniBand是由InfiniBand行业协会(IBTA,InfiniBand Trade Association)定义的一项标准,它是一种基于通道的、采用交换结构的I/O体系
双核以及多核技术的采用使得处理器的性能不断提升,网络带宽也在不断增加,但是你是否注意到了,为什么我们依然会感觉服务器不够快?问题就在于I/O。说到I/O,有关Infiniband技术应该引起用户的足够重视。身世InfiniBand是由InfiniBand行业协会(IBTA,InfiniBand Trade Association)定义的一项标准,它是一种基于通道的、采用交换结构的I/O体系。
IBTA成立于1999年8月31日,由Compaq、惠普、IBM、戴尔、英特尔、微软和Sun七家公司牵头,共同研究发展的高速先进的I/O标准。最初的命名为System I/O,1999年10月,正式改名为InfiniBand。InfiniBand是一种长缆线的连接方式,具有高速、低延迟的传输特性。据星盈科技李泌介绍,InfiniBand用于服务器系统内部,主要用于处理器/内存与I/O(如硬盘、网卡等)的连接,由于InfiniBand具有长缆线连接的特性,从而使得处理核心与I/O在保持运作一致性的同时,在实际的配置上,实现分离的配置。据李泌介绍,星盈科技推出的超级刀片计算机,就采用了类似的技术。
但是InfiniBand用于服务器系统内部并没有发展起来,原因在于英特尔和微软在2002年就退出了IBTA。在此之前,英特尔早已另行倡议Arapahoe,亦称为3GIO(3rd Generation I/O,第三代I/O),即今日鼎鼎大名的PCI Express(PCI-E),InfiniBand、3GIO经过一年的并行,英特尔终究还是选择了PCI-E。因此,现在应用InfiniBand,主要是用于在服务器集群,系统之间的互联。
需要说明的是,即使在系统之间的互联,InfiniBand也还面临着竞争对手,这是因为自英特尔、微软退出IBTA之后,IBM、惠普也在不久后退出,并在第二年提出RDMA(Remote Direct Memory Access,远程直接内存存取)技术,期望用10Gbps Ethernet搭配TOE(TCP/IP Offload Engine,TCP/IP负荷卸载引擎)的硬件加速设计,以更标准、低廉的方式与InfiniBand进行竞争。此外,由Broadcom、Chelsio、惠普、NetApp和微软等厂商推动的iWarp,一种用于远程直接内存访问、远程直接数据放置的保护协议,它淘汰了两端的网卡,也是一种标准的协议。另外,英特尔的I/O加速技术也与InfiniBand具有一定的竞争关系。工作原理
与其他网络协议(如TCP/IP)相比,InfiniBand具有更高的传输效率。原因在于许多网络协议具有转发损失的数据包的能力,但是由于要不断地确认与重发,基于这些协议的通信也会因此变慢,极大地影响了性能。
需要说明的是,TCP协议是一种被大量使用的传输协议,从冰箱到超级计算机等各种设备上都可以看到它的身影,但是使用它必须付出高昂的代价:TCP协议极其复杂、代码量巨大并且充满了各种特例,而且它很难卸载(所谓卸载就是不占用CPU的运行时间)。
与之相比,InfiniBand使用基于信任的、流控制的机制来确保连接的完整性,数据包极少丢失。使用InfiniBand,除非确认接收缓存具备足够的空间,否则不会传送数据。接受方在数据传输完毕之后, 返回信用来标示缓存空间的可用性。通过这种办法,InfiniBand消除了由于原数据包丢失而带来的重发延迟,从而提升了效率和整体性能。
目前,基于InfiniBand技术的网卡的单端口带宽最大可达到20Gbps,基于InfiniBand的交换机的单端口带宽最大可达60Gbps,单交换机芯片可以支持达480Gbps的带宽。在2005年的4月份,Cisco公司收购了InfiniBand方案提供商Topspin; 而专业存储厂商QLogic公司也陆续收购了InfiniBand技术厂商SilverStorm公司和PathScale公司,开始进军InfiniBand领域。

据曙光公司技术支持中心袁伟介绍,目前曙光的高性能计算机全部采用InfiniBand技术进行节点之间的互联,用InfiniBand替代了Myrinet。原因在于,Mrynet在2Gbps带宽之后,在向10Gbps技术的发展上,路线图不清晰,技术实现上也不好。与之相比,20Gbps InfiniBand技术已经非常成熟,在价格上也具有竞争力。
据宝德服务器事业部经理程佶透露, 宝德InfiniBand服务器的出货主要集中在高性能计算领域,占有30%~40%的份额,其余高性能计算采用千兆以太网的连接方案。程佶表示,除了高性能计算领域之外,其他领域应用InfiniBand服务器的前景并不十分看好。原因在于InfiniBand的价格还是比较高,仅InfiniBand的HCA(主通道适配器)卡就需要4000元~5000元人民币,而性能的提升仅在10%~15%之间。因此,价格将成为InfiniBand服务器进入企业市场的障碍。
据了解,目前IBM、惠普、戴尔、SUN等公司都对InfiniBand做出了积极的响应。在它们的InfiniBand服务器解决方案中,有的在用标准的InfiniBand HCA, 有的在用专门设计的Mezzanine卡,有的在用标准的InfiniBand交换机,有的在用专门设计的交换模块。目前InfiniBand服务器大多采用基于PCI-E的接口,如Arima(华宇)、Tyan(泰安)、SuperMicro(超微)等,因为PCI-E比PCI-X能够提供更高的带宽和更低的延时。
记者日前还采访了InfiniBand HCA卡以及交换机芯片的核心供应商—Mellanox公司亚洲区技术总监宋庆春。据他介绍,InfiniBand的应用领域已变得越来越广。从2005年InfiniBand开始进入存储市场以来,已有越来越多的存储客户开始使用InfiniBand技术。他预计到2008年~2009年,InfiniBand应该成为存储市场的主力。目前主流的存储厂商除了EMC之外,其余厂商都宣布了InfiniBand的存储解决方案。分析其中的原因,宋庆春认为,在带宽、价格方面,InfiniBand均比FC方案具有优势,其中InfiniBand带宽为20Gbps,而FC只有4 Gbps,在价格上,一块FC 网卡就要上万元,远比InfiniBand HCA卡昂贵。另外,更为主要的是:InfiniBand是一种标准开放的协议,具有更多的厂商支持。因此,InfiniBand在SAN存储应用里的优势非常明显。
对于InfiniBand而言,它所具有的整合特性,使得它在数据中心将会得到更多的应用。宋庆春表示,InfiniBand的一个端口可以虚拟成为8个虚拟的通道,而这些虚拟的通道可以分别与数据中心中的FC SAN存储模块、计算模块、管理模块以及通信模块进行连接,从而实现基于InfiniBand的统一管理。推广与应用InfiniBand作为一种高带宽、低延时的连接技术,在数据库集群,在金融分析、制造业、石油、气象、生物等仿真技术领域正在得到越来越多的应用,并成为市场的主流。据6月27日发布的全球HPC TOP 500排名情况来看,InfiniBand的份额实现了强有力的增长,从上届的78套增加到了现在的127套。
“十一五”期间,我国将会在明年推出两台具有百万亿次计算能力的超级计算机,一台在中科院计算所,一台在上海超级计算中心。据业内人士透露,从目前实现百万亿次计算能力的设计方案来看,绝大多数都采用了InfiniBand的方案。可以说,在高性能计算领域,InfiniBand已经占据了主流的地位。
上海超级计算中心副主任袁俊表示,对于InfiniBand而言,更多的考验是在商用计算领域,特别是在存储、在数据中心的应用。据介绍,在这些应用领域大多会采用一种混合计算的方案,在服务器、FC SAN存储,以及以太网之间部署InfiniBand交换机来提高通信的效率以及存储的吞吐量。此外,InfiniBand也被用于解决刀片服务器扩展能力受限的问题,通过提供与外部PCI 扩展模块的连接,InfiniBand 使多个刀片服务器或机箱能够共享原有的PCI 外部设备。这种方法不但节约了空间,而且使客户的多个服务器能够共用设备。编看编想 还是让市场来回答
从1999年推出以来,InfiniBand经历了太多的变迁,其中很多变化并不是技术决定的,因此,不是亲历者很难说得清楚。我接触InfiniBand是从接触HPC开始的,当时上海超算中心在应用HPC过程中,连接计算节点的Myrinet网络,存在交换机节点作业完成不释放的问题,为此,他们考虑采用更加可靠的互联方式,其中就提到了InfiniBand。
再次接触InfiniBand是在刀片服务器中。刀片服务器最初的用户主要是“两油”,也就是“石油”和“网游”,其中,石油是高性能计算的代表,网游则是电信应用的代表。刀片服务器为满足HPC应用的需要,需要支持具有更高带宽、更低延迟的InfiniBand交换机(刀片服务器中称网络模块)。这是我目前可以看到的InfiniBand的应用。
如今,在存储、数据中心、网络通信等领域,InfiniBand都有比较强烈的呼声,但不知道为什么,总感觉雷声大,雨点小。是不是InfiniBand技术有什么问题?我看不是,要知道市场不是单纯由技术决定的,未来InfiniBand在市场将有怎样的表现,还是让市场的发展来回答,现在断言为时尚早。