Google和百度收录网站页面的比较

来源:百度文库 编辑:神马文学网 时间:2024/04/26 14:54:08
我用一句话来形容,就是Google更乐于收录名站的页面,百度则乐于收录新站的页面。
Google和Baidu收录网站页面的标准是不同的。
为了验证这一点,我做一个实验:我申请了一个新域名www.moon-blog.com,不再其他任何网站做链接,而直接往百度和Google搜索引擎的提交页面进行提交。一个月过去了,百度收录的网页是24,900篇,Google收录的网页是0,这证实了我以前的猜测。
这说明了什么呢?说明百度比Google好吗?绝对不是的。因为Baidu和Google收录页面的标准是完全不同的。
Google是按照网页级别来收录的,只要你有一定的网页级别,Google会快速收录的,而没有网页级别的网站,Google则坚决不去收录。Baidu则很夸张,采用的是来者不拒,多多益善的原则,无休止的进行收录。Baidu的这种不按网页级别的收录方式其实有很大的恶果,最主要的恶果是造成大量的垃圾网站流行,因为只要做一个垃圾站,Baidu就会立刻收录(25000页以内),这等于变相的鼓励大家去做垃圾站,去盲目采集。当垃圾站横行的时候,Baidu再通过人工的方式封站,对于大流量的网站再威胁其办理百度竞价排名。因此Baidu和大量的个人站长都有一段恩怨。
这两种收录方式哪种更好呢?我个人认为Google的这种收录方式是比较科学的。因为互联网上的页面是个天文数字,收录应该是有选择的收录,好的网站则多收录,新站则应该少收录,等其慢慢知名了以后再多收录,这样也提高了效率,让用户搜索到更好的页面而不是更多的页面。而且Google的爬虫占用服务器的资源较少,通常是先用head来查看网页是否更新,如果更新了再抓取整个页面,这种方法耗费流量较少。而百度则不管三七二十一上来就抓整个站,而且其爬虫数量非常庞大,对于页面较多的网站通常会耗费惊人的流量,并且常常造成恶劣的后果。例如我以前的月光软件站有一段时间CPU耗费极大,IIS连接数也逼近1000,每天流量高达10多G,电信机房总威胁要限制我的带宽,我以前一直以为是被别人DDOS攻击,但是我购买了新的服务器,换了几个IP,甚至更换了几个机房,依然无法解决问题,不得已只好将服务器托管到外地流量充裕的机房,但CPU负荷还总是居高不下。直到我网站被百度封了后,百度爬虫再也不再光故,这时我才惊奇地发现,我的CPU和流量终于处于一种稳定合理的状态了,到目前为之,我站每天流量也有十多G,但CPU一直都没有超过5%,服务器也很少出现死机和大量IIS连接的状况,因此我开始怀疑,以前的所谓被DDOS攻击,其实只是大量的百度爬虫在抓取我的网站而已,由于其爬虫数量庞大,才引起我服务器的超负荷运转以至濒于崩溃。
当然,百度这种“贪婪”爬虫抓取方法,虽然会让用户能够在百度搜索出一些Google里搜索不到的页面,但这实在是太损人利己了。其带给网站站长的则是大量的负面效果:服务器和带宽资源过渡消耗,垃圾站被变相鼓励了,原创的有特色的网站则被边缘化。
因此,中国的网民也出现了很奇怪的现象:大量的新网民和菜鸟人士喜欢用百度搜索,因为百度往往搜索到很多别人没有的页面,而专业人员和老鸟则更喜欢用Google,个人站长则普遍和百度有“个人恩怨”。因此百度在业界的Blog以及社区中口碑都不太好,但是依旧还是有大量流量。