神马文学网eBay 的数据量
来源：百度文库 编辑：神马文学网 时间：2024/04/28 02:37:02
eBay 的数据量
作者：Fenng |English Version 【可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明】
网址：http://www.dbanotes.net/database/ebay_storage.html
作为电子商务领头羊的eBay 公司，数据量究竟有多大? 很多朋友可能都会对这个很感兴趣。在这一篇
Web 2.0: How High-Volume eBay Manages Its Storage(从+1 GB/1 min得到的线索) 报道中，eBay 的存储主管 Paul Strong 对数据量做了一些介绍，管中窥豹，这些数据也给我们一个参考。
站点处理能力
平均每天的 PV 超过 10 亿 ; 每秒钟交易大约 1700 美元的商品 ; 每分钟卖出一辆车A ; 每秒钟卖出一件汽车饰品或者配件 ; 每两分钟卖出一件钻石首饰 ; 6 亿商品，2 亿多注册用户; 超过 130 万人把在 eBay 上做生意看作是生活的一部分。
在这样高的压力下，可靠性达到了 99.94%，也就是说每年 5 个小时多一点的服务不可用。从业界消息来看，核心业务的可用性要比这个高。
数据存储工程组控制着 eBay 的 2PB (1Petabyte=1000Terabytes) 可用空间。这是一个什么概念，对比一下Google 的存储就知道了。每周就要分配 10T 数据出去，稍微算一下，一分钟大约使用 1G 的数据空间。
计算能力
eBay 使用一套传统的网格计算系统。该系统的一些特征数据： 170 台 Win2000/Win2003 服务器； 170 台 Linux (RHES3) 服务器； 三个 Solaris 服务器: 为 QA 构建与部署 eBay.com; 编译优化 Java / C++ 以及其他 Web 元素 ; Build 整个站点的时间：过去是 10 个小时，现在是 30 分钟; 在过去的2年半, 有 200 万次 Build，很可怕的数字。
存储硬件
每个供货商都必须通过严格的测试才有被选中的可能，这些厂家或产品如下： 交换机: Brocade 网管软件：IBM Tivoli NAS： Netapp (占总数据量的 5%，2P*0.05, 大约 100 T) 阵列存储：HDS (95%，这一份投资可不小，HDS 不便宜, EMC 在 eBay 是出局者) 负载均衡与 Failover: Resonate ;
搜索功能： Thunderstone indexing system ;
数据库软件：Oracle 。大多数 DB 都有 4 份拷贝。数据库使用的服务器 Sun E10000。另外据我所知, eBay 购买了 Quest SharePlex 全球 Licence 用于数据复制.
应用服务器
应用服务器有哪些特点呢?
使用单一的两层架构(这一点有点疑问，看来是自己写的应用服务器)
330 万行的 C++ ISAPI DLL (二进制文件有 150M)
数百名工程师进行开发
每个类的方法已经接近编译器的限制
非常有意思，根据eWeek 的该篇文档，昨天还有上面这段划掉的内容，今天上去发现已经修改了:
架构
高分布式 拍卖站点是基于 Java 的，搜索的架构是用 C++ 写的 数百名工程师进行开发，所有的工作都在同样的代码环境下进行
可能是被采访者看到 eWeek 这篇报道，联系了采访者进行了更正。我还有点奇怪原来"两层"架构的说法。
其他信息
集中化存储应用程序日志; 全局计费：实时的与第三方应用集成(就是eBay 自己的 PayPal 吧?) 业务事件流：使用统一的高效可靠消息队列. 并且使用 Cookie-cutter 模式用于优化用户体验(这似乎是大型电子商务站点普遍使用的用于提高用户体验的手法)。
后记
零散作了一点流水帐。作为一个 DBA, 或许有一天也有机会面对这样的数据量。到那一天，再回头看这一篇电子垃圾。
更新：更详细信息请参考：Web 2.0: How High-Volume eBay Manages Its Storage。可能处于 Cache 的问题，好几个人看到的原文内容有差异
--EOF--
作者：Fenng |English Version 【可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明】
网址：http://www.dbanotes.net/database/ebay_storage.html
作为电子商务领头羊的eBay 公司，数据量究竟有多大? 很多朋友可能都会对这个很感兴趣。在这一篇
Web 2.0: How High-Volume eBay Manages Its Storage(从+1 GB/1 min得到的线索) 报道中，eBay 的存储主管 Paul Strong 对数据量做了一些介绍，管中窥豹，这些数据也给我们一个参考。
站点处理能力
平均每天的 PV 超过 10 亿 ; 每秒钟交易大约 1700 美元的商品 ; 每分钟卖出一辆车A ; 每秒钟卖出一件汽车饰品或者配件 ; 每两分钟卖出一件钻石首饰 ; 6 亿商品，2 亿多注册用户; 超过 130 万人把在 eBay 上做生意看作是生活的一部分。
在这样高的压力下，可靠性达到了 99.94%，也就是说每年 5 个小时多一点的服务不可用。从业界消息来看，核心业务的可用性要比这个高。
数据存储工程组控制着 eBay 的 2PB (1Petabyte=1000Terabytes) 可用空间。这是一个什么概念，对比一下Google 的存储就知道了。每周就要分配 10T 数据出去，稍微算一下，一分钟大约使用 1G 的数据空间。
计算能力
eBay 使用一套传统的网格计算系统。该系统的一些特征数据： 170 台 Win2000/Win2003 服务器； 170 台 Linux (RHES3) 服务器； 三个 Solaris 服务器: 为 QA 构建与部署 eBay.com; 编译优化 Java / C++ 以及其他 Web 元素 ; Build 整个站点的时间：过去是 10 个小时，现在是 30 分钟; 在过去的2年半, 有 200 万次 Build，很可怕的数字。
存储硬件
每个供货商都必须通过严格的测试才有被选中的可能，这些厂家或产品如下： 交换机: Brocade 网管软件：IBM Tivoli NAS： Netapp (占总数据量的 5%，2P*0.05, 大约 100 T) 阵列存储：HDS (95%，这一份投资可不小，HDS 不便宜, EMC 在 eBay 是出局者) 负载均衡与 Failover: Resonate ;
搜索功能： Thunderstone indexing system ;
数据库软件：Oracle 。大多数 DB 都有 4 份拷贝。数据库使用的服务器 Sun E10000。另外据我所知, eBay 购买了 Quest SharePlex 全球 Licence 用于数据复制.
应用服务器
应用服务器有哪些特点呢?
使用单一的两层架构(这一点有点疑问，看来是自己写的应用服务器)
330 万行的 C++ ISAPI DLL (二进制文件有 150M)
数百名工程师进行开发
每个类的方法已经接近编译器的限制
非常有意思，根据eWeek 的该篇文档，昨天还有上面这段划掉的内容，今天上去发现已经修改了:
架构
高分布式 拍卖站点是基于 Java 的，搜索的架构是用 C++ 写的 数百名工程师进行开发，所有的工作都在同样的代码环境下进行
可能是被采访者看到 eWeek 这篇报道，联系了采访者进行了更正。我还有点奇怪原来"两层"架构的说法。
其他信息
集中化存储应用程序日志; 全局计费：实时的与第三方应用集成(就是eBay 自己的 PayPal 吧?) 业务事件流：使用统一的高效可靠消息队列. 并且使用 Cookie-cutter 模式用于优化用户体验(这似乎是大型电子商务站点普遍使用的用于提高用户体验的手法)。
后记
零散作了一点流水帐。作为一个 DBA, 或许有一天也有机会面对这样的数据量。到那一天，再回头看这一篇电子垃圾。
更新：更详细信息请参考：Web 2.0: How High-Volume eBay Manages Its Storage。可能处于 Cache 的问题，好几个人看到的原文内容有差异
--EOF--
eBay 的数据量
eBay 的数据量 - DBA notes
一种理想的大数据量分页查询方案
美国的阿里巴巴正是EBAY
eBay 的应用服务器规模
eBay的迷失与决断
eBay是什么样的电子商务平台
可怕的Google，可怜的eBay
客齐集：eBay送给中国的礼物
启示录：eBay原来是这样起家的
周鸿祎：雅虎eBay合作的中国因素
eBay艰难的“中国之旅”
EBay艰难的“中国之旅”
eBay如何低下高贵的头？_
特稿：eBay购物的四大致命陷阱
ebay上的十大灵异商品
eBay 的 Personalization Platform 采用 MySQL - DB...
eBay 易趣与淘宝的文化差异
eBay 的应用服务器规模 - DBA notes
eBay 易趣与淘宝的文化差异
Airbnb：房屋租赁领域的Ebay
eBay前CEO梅格·惠特曼：eBay的道德抉择_
阿里巴巴的两场战争：打败eBay ?再革沃尔玛的命
阿里巴巴的两场战争：打败eBay ?再革沃尔玛的命