17Tech网友评论:正望搜索盲测几无价值

来源:百度文库 编辑:神马文学网 时间:2024/04/27 06:26:15
笔者耐心拜读了吕伯望的《搜索质量盲测评估报告》,个人觉得这个盲测有点忽悠人,这个报告也没有什么价值。
2769个测评者、11,864次盲测的一个这么小范围、小数量级的测试,怎么可能用来衡量数千万级或者是数亿级的搜索引擎呢?这点数量的测评者如果再分布到不同的特征群体,那么每个群体就没几个人了,这样的小范围测试有什么价值呢?
我记得当时搜狗3.0做对比测试的时候,搜狐旗下所有站点都曾指向搜狗,那个数量级至少是过亿的,而且同时对比多家搜索结果。这样的测试才能说明问题,至少针对搜索引擎的测试需要大量媒体和网站的共同参与,来保证参与者的多样性和全面性。2769个测评者,即使全在北京某个区,连一所中学都覆盖不了,那样这个测试变成了一次非常粗糙的抽样测试了。但是样本数量太少,某个偶然的结果,都可能成为样本空间的主要角色,外力影响结果的可能行和容易度是非常高的。
正望咨询是北京的公司,这次测试的地区覆盖范围应该集中在北京地区,但是北京地区的网民不可能代表全体网民的。北京有大量的大学生和北飘人员,同时测试人群的文化背景(非学历背景)无从考究,北京的文化是很多元的,每一元人数都不少,那么我们的评价标准、搜索习惯、审美习惯这些影响搜索的因素来遵从哪一元呢?
搜索引擎测试必须建立在广泛用户和受众基础之上的,否则这个测试必然只是一个局部人群的小抽样,说明不了多大的问题。这么小的测试人数,我们可以到中搜的群体中去测试,那么中搜肯定也比百度先进,按照这样推理,中国每一家搜索都可能比百度先进,百度也可能是中国技术最差劲的搜索引擎公司。这显然是十分搞笑的。
我的个人观点:google有先进的地方,但是百度没差到那个份上,搜狗、雅虎你去比较一下,结果也有很多比百度、谷歌好的。如今,百度敢放手去日本搞革命,国内只推出几个鸡肋产品,说明百度对自己的很自信的(当然也可能是自负)。百度国内的地位并非一个搜索的问题,百度联盟现在恐怕是国内最大的广告联盟了,这一点不容忽视。另外,google的问题也不是技术的问题,而是百度抢占了最有利地形,而且建立起了全国性的广告代理体系,这个营销体系是其他搜索引擎所没有的。