神马文学网搜索引擎暗规则A
来源：百度文库 编辑：神马文学网 时间：2024/04/29 14:49:08
搜索引擎暗规则
共2页 1 2
中国人有句古话叫做：“学以至用”。若干年我一直对这句话封为神灵，因为只用致用才能看到学的效果，了解到学的不足，享受到学的快乐。
搜索引擎在过去两年的发展并没有大突破，但是却逐步走向成熟，走向商业。正是这两年的时间，部分的业余时间都用来做一些开发和研究，当我逐渐了解的更多的时候，也是我结束单枪披马的时候。未来的兴趣也许会转向分类技术，因此希望能够用这个系列为这段成长岁月化上句号。
所谓暗规则，其实就是一些生活中非常显然的规则，只不过在搜索引擎这个领域表现的不是那么的突出，之所以不够突出，原因最主要的是因为搜索引擎还在发展，市场还在进一步加剧竞争，这些暗规则或多或少已经在反映在现在的搜索引擎上了。相信有一天，这些规则会被看到的更清晰，更深入。
搜索引擎暗规则之一
《新约•马太福音》中有这样一个故事，一个国王远行前，交给三个仆人每人一锭银子，吩咐他们："你们去做生意，等我回来时，再来见我。"国王回来时，第一个仆人说："主人，你交给我们的一锭银子，我已赚了10锭。"于是国王奖励他10座城邑。第二个仆人报告说："主人，你给我的一锭银子，我已赚了5锭。 "于是国王例奖励了他5座城邑。第三个仆人报告说："主人，你给我的一锭银子，我一直包在手巾里存着，我怕丢失，一直没有拿出来。"于是国王命令将第三个仆人的一锭银子也赏给第一个仆人，并且说："凡是少的，就连他所有的也要夺过来。凡是多的，还要给他，叫他多多益善。"
这就是马太效应。
简单的说，就是让富有者更加富有，让贫穷者更加贫穷。
对于搜索引擎来说，马太效应是一条暗规则。10年的发展期过后，google,yahoo等已经成为市场的绝对主流，利润的分享趋向与这些超大型的搜索引擎，而不是中小型的搜索引擎。
例如，你可以制作一个搜索引擎，流量是google的1/1000(这个数目并不大，每天的独立IP是大约6万，PageView是30万)，但是你拿到的回报和这个搜索引擎的价值绝对没有google的1/1000(这个大约是6000万美金，或者5亿人民币)。
马太效应还能反应在市场倾向于分化，倾向于使得市场的份额集中在一两个巨头的身上。因为市场对领头羊的投入会拿到比例更高的回报，因此广告／合作等的机会也会遵从马太效应，成为领头羊的东风。
马太效应还表现在当搜索引擎成为领头羊的时候，能够聚合更多的资金人力扩展这个优势，例如启动一系列的其它的业务Mp3,Pic search,Vedio等，巩固和扩大优势。
那么对于中小型的搜索引擎而言，价值在哪里呢？
市场是残酷的，可以预言现在大多数的中小型搜索引擎从经济的角度讲都要灭亡，能够保留下来的一定不会是单纯的搜索引擎，也许是被某一个网站收购成为其附加值，也许转向做企业内部搜索等现在市场还没有显著分化的领域。
我以前曾经写过20/80 法则 重新阐释，这里从新提一下：
20/80法则也叫二八定律，即巴莱多定律。巴莱多定律是19世纪末20世纪初意大利经济学家巴莱多发明的。他认为，在任何一组东西中，最重要的只占其中一小部分，约20%，其余80%尽管是多数，却是次要的，因此又称二八定律。
在搜索引擎的设计上，可以说大多数的搜索引擎在搜索结果上第一页有80%的结果是相同的，不同的只有20%。可是正是这20% make different.
这20%的差别也是不同搜索引擎之间的差距，能够完善这20%将对一个搜索引擎来说是至关重要的。
在另外一方面，对于一个搜索引擎的完善，例如你可以花20%的努力做到80%的效果，而要想提高剩下的20%的效果也许要耗费80%的精力。
一个简单的例子，一个搜索引擎现在还比较初级，也许分词和搜索相关的准确率在80％左右，想要进一步提高，也许要调整40，50个参数，调整很多方面的因子，考虑很多的算法，花了极大的精力后发现只提高了一点，再调整，如此三番，也许很久一段时间后发现有90％了，这个10％就是大的突破，但是要花去的努力要比从0％到80％大的多的多。
搜索引擎各项参数的差距也许只有几个百分点，可是这几个百分点就是真正的差别，就真得创造了胜者和失败者。
从搜索的方面看，20 80 法则有另外的意义，80%的搜索集中在20%的少量关键词上，也就是说有20%的搜索词汇占了80％的总体搜索流量。搜索的词频可以通过搜索引擎的每天的统计得到，在某一些特殊的情况，这些分布可以用来对搜索引擎进行非常好的矫正工作。
车东在Google的“破窗”里提到Spam会传播更多的Spam，这个就是搜索引擎破窗效应的体现。
首先解释一下什么是破窗理论：
"破窗理论"体现的是细节对人的暗示效果，以及细节对整体影响的扩展性
美国心理学家詹巴斗曾经做过一个"偷车实验 "，将两辆一模一样的轿车分别放在一个环境很好的中产阶级社区和环境比较脏乱的贫民区，结果发现贫民区的车很快被偷走了，而另一辆几天后仍然完好无损；如果将中产阶级社区的那辆车的天窗玻璃打破，几个小时后，那辆车也被偷了。
后来，在此实验基础上，美国政治学家威尔逊和犯罪学家凯林提出了有名的"破窗理论"：如果有人打坏了一栋建筑上的一块玻璃，又没有及时修好，别人就可能受到某些暗示性的纵容，去打碎更多的玻璃。
对于搜索引擎来说，前面chedong的例子已经非常明显，随着更多的人认识到搜索引擎可以获取更多的利益，不法之徒当然回去尝试采用各种作弊手段进行扰乱正常的拍名和搜索结果，如果搜索引擎不即时制止， 这种情况就会泛滥，最好到严重的要影响到用户使用的地步的时候再来处理也就要麻烦的多和面临更多的作弊者。
看这个搜索结果Google 里搜索 天下无贼免费电影下载，你完全可以想像这样的结果是对Spam的一种变相的鼓励。
破窗理论的推论就是注重细节，防微杜渐。一旦有第一个spam出现，即时的制止，那么后面的spam也许就不会那么轻易的去搜索引擎上尝试，因为毕竟敢于做第一（第一个打破窗户）的人还是少数。
看看Baidu和Yahoo，在破窗上封堵的就比google快一些，因此基本上现在能够看到的spam基本上都来自google的结果。
google adsense呢？我以前曾经写过几篇关于fraud click(点击欺骗)的文章，fraud click的破窗随着google去年把修斯顿的一家公司推上了法庭而弥补好了。可是另外一种更严峻的破窗又出现了，直接危机到google adsense的存亡：广告内容作弊。
来源： FullSearcher.com | 作者： | 发表时间： 2006-8-28 17:47:00
共2页 1 2
中国人有句古话叫做：“学以至用”。若干年我一直对这句话封为神灵，因为只用致用才能看到学的效果，了解到学的不足，享受到学的快乐。
搜索引擎在过去两年的发展并没有大突破，但是却逐步走向成熟，走向商业。正是这两年的时间，部分的业余时间都用来做一些开发和研究，当我逐渐了解的更多的时候，也是我结束单枪披马的时候。未来的兴趣也许会转向分类技术，因此希望能够用这个系列为这段成长岁月化上句号。
所谓暗规则，其实就是一些生活中非常显然的规则，只不过在搜索引擎这个领域表现的不是那么的突出，之所以不够突出，原因最主要的是因为搜索引擎还在发展，市场还在进一步加剧竞争，这些暗规则或多或少已经在反映在现在的搜索引擎上了。相信有一天，这些规则会被看到的更清晰，更深入。
搜索引擎暗规则之一
《新约•马太福音》中有这样一个故事，一个国王远行前，交给三个仆人每人一锭银子，吩咐他们："你们去做生意，等我回来时，再来见我。"国王回来时，第一个仆人说："主人，你交给我们的一锭银子，我已赚了10锭。"于是国王奖励他10座城邑。第二个仆人报告说："主人，你给我的一锭银子，我已赚了5锭。 "于是国王例奖励了他5座城邑。第三个仆人报告说："主人，你给我的一锭银子，我一直包在手巾里存着，我怕丢失，一直没有拿出来。"于是国王命令将第三个仆人的一锭银子也赏给第一个仆人，并且说："凡是少的，就连他所有的也要夺过来。凡是多的，还要给他，叫他多多益善。"
这就是马太效应。
简单的说，就是让富有者更加富有，让贫穷者更加贫穷。
对于搜索引擎来说，马太效应是一条暗规则。10年的发展期过后，google,yahoo等已经成为市场的绝对主流，利润的分享趋向与这些超大型的搜索引擎，而不是中小型的搜索引擎。
例如，你可以制作一个搜索引擎，流量是google的1/1000(这个数目并不大，每天的独立IP是大约6万，PageView是30万)，但是你拿到的回报和这个搜索引擎的价值绝对没有google的1/1000(这个大约是6000万美金，或者5亿人民币)。
马太效应还能反应在市场倾向于分化，倾向于使得市场的份额集中在一两个巨头的身上。因为市场对领头羊的投入会拿到比例更高的回报，因此广告／合作等的机会也会遵从马太效应，成为领头羊的东风。
马太效应还表现在当搜索引擎成为领头羊的时候，能够聚合更多的资金人力扩展这个优势，例如启动一系列的其它的业务Mp3,Pic search,Vedio等，巩固和扩大优势。
那么对于中小型的搜索引擎而言，价值在哪里呢？
市场是残酷的，可以预言现在大多数的中小型搜索引擎从经济的角度讲都要灭亡，能够保留下来的一定不会是单纯的搜索引擎，也许是被某一个网站收购成为其附加值，也许转向做企业内部搜索等现在市场还没有显著分化的领域。
我以前曾经写过20/80 法则 重新阐释，这里从新提一下：
20/80法则也叫二八定律，即巴莱多定律。巴莱多定律是19世纪末20世纪初意大利经济学家巴莱多发明的。他认为，在任何一组东西中，最重要的只占其中一小部分，约20%，其余80%尽管是多数，却是次要的，因此又称二八定律。
在搜索引擎的设计上，可以说大多数的搜索引擎在搜索结果上第一页有80%的结果是相同的，不同的只有20%。可是正是这20% make different.
这20%的差别也是不同搜索引擎之间的差距，能够完善这20%将对一个搜索引擎来说是至关重要的。
在另外一方面，对于一个搜索引擎的完善，例如你可以花20%的努力做到80%的效果，而要想提高剩下的20%的效果也许要耗费80%的精力。
一个简单的例子，一个搜索引擎现在还比较初级，也许分词和搜索相关的准确率在80％左右，想要进一步提高，也许要调整40，50个参数，调整很多方面的因子，考虑很多的算法，花了极大的精力后发现只提高了一点，再调整，如此三番，也许很久一段时间后发现有90％了，这个10％就是大的突破，但是要花去的努力要比从0％到80％大的多的多。
搜索引擎各项参数的差距也许只有几个百分点，可是这几个百分点就是真正的差别，就真得创造了胜者和失败者。
从搜索的方面看，20 80 法则有另外的意义，80%的搜索集中在20%的少量关键词上，也就是说有20%的搜索词汇占了80％的总体搜索流量。搜索的词频可以通过搜索引擎的每天的统计得到，在某一些特殊的情况，这些分布可以用来对搜索引擎进行非常好的矫正工作。
车东在Google的“破窗”里提到Spam会传播更多的Spam，这个就是搜索引擎破窗效应的体现。
首先解释一下什么是破窗理论：
"破窗理论"体现的是细节对人的暗示效果，以及细节对整体影响的扩展性
美国心理学家詹巴斗曾经做过一个"偷车实验 "，将两辆一模一样的轿车分别放在一个环境很好的中产阶级社区和环境比较脏乱的贫民区，结果发现贫民区的车很快被偷走了，而另一辆几天后仍然完好无损；如果将中产阶级社区的那辆车的天窗玻璃打破，几个小时后，那辆车也被偷了。
后来，在此实验基础上，美国政治学家威尔逊和犯罪学家凯林提出了有名的"破窗理论"：如果有人打坏了一栋建筑上的一块玻璃，又没有及时修好，别人就可能受到某些暗示性的纵容，去打碎更多的玻璃。
对于搜索引擎来说，前面chedong的例子已经非常明显，随着更多的人认识到搜索引擎可以获取更多的利益，不法之徒当然回去尝试采用各种作弊手段进行扰乱正常的拍名和搜索结果，如果搜索引擎不即时制止， 这种情况就会泛滥，最好到严重的要影响到用户使用的地步的时候再来处理也就要麻烦的多和面临更多的作弊者。
看这个搜索结果Google 里搜索 天下无贼免费电影下载，你完全可以想像这样的结果是对Spam的一种变相的鼓励。
破窗理论的推论就是注重细节，防微杜渐。一旦有第一个spam出现，即时的制止，那么后面的spam也许就不会那么轻易的去搜索引擎上尝试，因为毕竟敢于做第一（第一个打破窗户）的人还是少数。
看看Baidu和Yahoo，在破窗上封堵的就比google快一些，因此基本上现在能够看到的spam基本上都来自google的结果。
google adsense呢？我以前曾经写过几篇关于fraud click(点击欺骗)的文章，fraud click的破窗随着google去年把修斯顿的一家公司推上了法庭而弥补好了。可是另外一种更严峻的破窗又出现了，直接危机到google adsense的存亡：广告内容作弊。
来源： FullSearcher.com | 作者： | 发表时间： 2006-8-28 17:47:00