神马文学网[数据统计] 搜索引擎索引库：百度大于雅虎中国 之一
来源：百度文库 编辑：神马文学网 时间：2024/04/28 08:24:30
关心搜索引擎的朋友们都知道，搜全率和搜准率是衡量搜索引擎系统的两项基础指标，在很多关于搜索引擎技术评比的文章中搜全率和搜准率被频频提及。
搜准率是一个很难量化的指标，如何判断一个搜索引擎的搜索结果和使用者的意图最相关，没有一个定性的结论。所以很多冠以智能化、社会化、元搜索头衔的搜索引擎也都是朝搜准这个方向努力，耐人寻味的是，大多数公司都宣称自己的搜索引擎是基于那些技术，却没有告诉我们一个可以接受的衡量指标。当然，这不怪他们。
搜全率相对来说则可以量化，最简单的衡量指标就是索引量了。google和yahoo 之间曾有过争论：“实测证明Google仍是搜索之王 雅虎"牛皮"吹破” 。对于这次争论google是如何反击的呢？正如keso所说的google在反商业化的上的成功一样，google 随后不久透露要减小索引库的大小。很显然对于浩如烟海的互联网来说，能搜全仍是一个艰巨的目标。
类似的情景正在中国上演。在“It人士每天必读的100篇互联网新闻”上经常可以看到雅虎中国的宣传稿件，主题有开创蓝海、搜索盲测、抓虫行动等等，而百度此类的新闻却鲜有耳闻。百度的低调或许可以让他在靠近“google”的形象上多加一分。
中文搜索引擎谁最好？除了搜全率和搜准率外，最近又多出了一个争论的焦点：“谁最懂中文”。然后在这场单方面发起的谁最懂中文的时候，搜狗却实实在在的来了句：“搜狗更懂网络”。我想雅虎市场人员也许该从百事可乐的成功中学点什么。
作为一个搜索引擎的爱好者，我对搜全率和搜准率的问题也非常关注。于是动手准备测试一下雅虎中国和百度索引库的情况。这并不是一个好差事，但我决定还是尝试一下。
搜全率的测试方法：基本方法：抽样测试
分2个阶段进行：
1、测试对指定站点的索引量 （本文进行分析）
2、测试对基础关键词的索引量（在下一篇文章中进行分析）
本文的数据主要是对“指定站点的索引量”的一个数据统计。
基本资料分三部分：
1、指定站点的来源，出于公平的考虑，指定站点分别来源于：http://site.baidu.com 和http://site.yahoo.com.cn 。总共4784个，可以从下面的链接下载。
2、对上述站点的索引量统计，即使用：site:domain 的方法获取搜索引擎对此站点的索引量。为了增加可比性，去掉了索引量为0的站点（或许因为网络错误造成的，原始资料在附件中）。
（前端时间百度的site数量变化有些异常，现在基本正常。另一篇文章会捎带分析这个现象。）
3、相关分析。
结果见下图：
（分析过程省略,详细的数据可以从这里下载:http://www.search-analysis.com/baiduVSyahoochina-01.rar）
结论：
1、百度的索引库比雅虎中国的大。
在双方都认为最重要的3793个站点中：百度索引量：1626829061 ，雅虎中国的索引量：1018594668，高出：608234393 ，高出6亿。
2、百度的索引量分布图比较接近“长尾 Long Tail ”，长尾曲线比较完美。图形越接近长尾表明搜索引擎索引库基础的架构越好。
（理由是："哥白尼对天动说美学上的反对是他拒绝托勒密体系的重要原因..." - Thomas Kuhn, The Copernican Revolution ）
很显然上面的分析还不一定能囊括所有方面，因此我准备还从下面几个方面继续深入研究：\
之二：[百度vs雅虎中国]收录量和pr的相关性；
之三：[百度vs雅虎中国]索引量和alexa排名的相关性；
之四：[百度vs雅虎中国]如何测试搜索索引库的膨胀率；
搜准率是一个很难量化的指标，如何判断一个搜索引擎的搜索结果和使用者的意图最相关，没有一个定性的结论。所以很多冠以智能化、社会化、元搜索头衔的搜索引擎也都是朝搜准这个方向努力，耐人寻味的是，大多数公司都宣称自己的搜索引擎是基于那些技术，却没有告诉我们一个可以接受的衡量指标。当然，这不怪他们。
搜全率相对来说则可以量化，最简单的衡量指标就是索引量了。google和yahoo 之间曾有过争论：“实测证明Google仍是搜索之王 雅虎"牛皮"吹破” 。对于这次争论google是如何反击的呢？正如keso所说的google在反商业化的上的成功一样，google 随后不久透露要减小索引库的大小。很显然对于浩如烟海的互联网来说，能搜全仍是一个艰巨的目标。
类似的情景正在中国上演。在“It人士每天必读的100篇互联网新闻”上经常可以看到雅虎中国的宣传稿件，主题有开创蓝海、搜索盲测、抓虫行动等等，而百度此类的新闻却鲜有耳闻。百度的低调或许可以让他在靠近“google”的形象上多加一分。
中文搜索引擎谁最好？除了搜全率和搜准率外，最近又多出了一个争论的焦点：“谁最懂中文”。然后在这场单方面发起的谁最懂中文的时候，搜狗却实实在在的来了句：“搜狗更懂网络”。我想雅虎市场人员也许该从百事可乐的成功中学点什么。
作为一个搜索引擎的爱好者，我对搜全率和搜准率的问题也非常关注。于是动手准备测试一下雅虎中国和百度索引库的情况。这并不是一个好差事，但我决定还是尝试一下。
搜全率的测试方法：基本方法：抽样测试
分2个阶段进行：
1、测试对指定站点的索引量 （本文进行分析）
2、测试对基础关键词的索引量（在下一篇文章中进行分析）
本文的数据主要是对“指定站点的索引量”的一个数据统计。
基本资料分三部分：
1、指定站点的来源，出于公平的考虑，指定站点分别来源于：http://site.baidu.com 和http://site.yahoo.com.cn 。总共4784个，可以从下面的链接下载。
2、对上述站点的索引量统计，即使用：site:domain 的方法获取搜索引擎对此站点的索引量。为了增加可比性，去掉了索引量为0的站点（或许因为网络错误造成的，原始资料在附件中）。
（前端时间百度的site数量变化有些异常，现在基本正常。另一篇文章会捎带分析这个现象。）
3、相关分析。
结果见下图：
（分析过程省略,详细的数据可以从这里下载:http://www.search-analysis.com/baiduVSyahoochina-01.rar）
结论：
1、百度的索引库比雅虎中国的大。
在双方都认为最重要的3793个站点中：百度索引量：1626829061 ，雅虎中国的索引量：1018594668，高出：608234393 ，高出6亿。
2、百度的索引量分布图比较接近“长尾 Long Tail ”，长尾曲线比较完美。图形越接近长尾表明搜索引擎索引库基础的架构越好。
（理由是："哥白尼对天动说美学上的反对是他拒绝托勒密体系的重要原因..." - Thomas Kuhn, The Copernican Revolution ）
很显然上面的分析还不一定能囊括所有方面，因此我准备还从下面几个方面继续深入研究：\
之二：[百度vs雅虎中国]收录量和pr的相关性；
之三：[百度vs雅虎中国]索引量和alexa排名的相关性；
之四：[百度vs雅虎中国]如何测试搜索索引库的膨胀率；
[数据统计] 搜索引擎索引库：百度大于雅虎中国 之一
[数据统计] 搜索引擎索引库：百度大于雅虎中国 之一
百度，google，雅虎等搜索引擎的高级搜索语法
让百度、谷歌、雅虎等搜索引擎收录你的博客
产业数据·易观国际：2009年第3季度中国搜索引擎市场百度、谷歌中国双增长
我们索引这么数据做什么用？ - 关于RSS搜索引擎发展的思考
Baidu百度关键词搜索统计 统计升级搜索词报告 提供特有数据
马云:雅虎搜索比百度高端承认雅虎中国亏损
中国历年GDP增长数据统计
中国历年GDP增长数据统计哦哦哦
百度搜索引擎
最新统计：百度市场份额首次下滑 受人为干扰搜索牵连（以后用别的搜索引擎）
首次超过巨头雅虎 百度跃升为全球第二大搜索引擎
如何让自己的网站在百度、谷歌、雅虎等搜索引擎排名靠前
阿里巴巴雅虎中国面临融合考验 必与百度竞争
阿里巴巴CTO：雅虎中国技术上已超越百度
数据不透明产生误解 中国统计公信力亟待提高
中国历年GDP增长数据统计（1949-2008）
中国贫富差距统计被指不规范 官方数据从未公开
中国贫富差距数据缺乏 官方统计未公开
中国历年GDP增长数据统计（1949-2008）
中国历年GDP增长数据统计（1949-2008）g
中国历年GDP增长数据统计（1949-2008）
百度搜索引擎优化