各搜索引擎蜘蛛特点

来源:百度文库 编辑:神马文学网 时间:2024/04/28 12:26:44
GOOGLE:针对网页的排名。比较注重反向连接的数量和质量,搜索结果非常真实,能体现出网站的质量.
百度:是真对网站的,所以整站内容的关联性很重要,在就是网页的数量和大小. GOOGLE和百度不同的地方就是GOOGLE是真对网页的排名,BAIDU是针对整站的排名. 如果你做一个小网站内容针对性特别强的话,你这个站的关键词一定排得非常好, 如果做门户站内容比较繁杂建议开2及玉米来做分类的内容。
YAHOO:如果在GOOGLE里没有较好的收录恐怕在YAHOO里也是不会有排名了. GOOGEL有很密切的联系,使用同一个目录数据库。
MSN:目前在国内占的搜索分额非常少,但是他也有自己的特别,MSN在网站上没明确的写到他们愿意收录HTML等静态页面,如果页面是静态并标题关键词明显清晰就很容易获得好的排名。
至于QQ。SOGOU,新浪,114等等搜索引擎进入搜索业务比较晚,技术不够成熟,基本上以上几个搜索做了其他的也会排上去的。
如果在使用某产品或服务名称进行搜索时,一个网站的网址稳定出现在搜索结果的前面,这不仅意味着这个网站是同行的优秀着,更意味着这个网站将拥有巨大的访问量和无尽的商机! 相反,如果一个网站的链接只是出现在搜索结果的几十页甚至更靠后,访问者将是了了无几,何谈商机?
百度就将自己的目标定位于打造中国人自己的中文搜索引擎,并愿为此目标不懈的努力奋斗。
Google 的使命是整合全球信息,使人人皆可访问并从中受益。
前段时间有抽空开发了一个“搜索引擎蜘蛛(机器人)抓捕”程序,主要是用来统计各个指定的搜索引擎蜘蛛的爬行记录和频率。
程序写完挂上去就没再去留意了,今天想起来想看一下程序是否能正常记录数据?不看不知道一看吓一跳啊,其中一个栏目的监测数据实在是惊人,一共指定了监测三大搜索引擎:GOOGLE、BAIDU、YAHOO的蜘蛛数据,一个月的时间,蜘蛛总爬行次数达到了90万,记录的蜘蛛IP数量总共有4600多条!怪不得最近这个栏目总是占用资源相当的多(因为功能原因,这个栏目大部分页面只能是动态实现)。
仔细分析一下各个搜索引擎的详细数据:
GOOGLE:蜘蛛IP数量 372条,爬行次数 12万次,爬行频率 21秒/次;
BAIDU:蜘蛛IP数量 248条,爬行次数 46万次,爬行频率 5.6秒/次;
YAHOO:蜘蛛IP数量 3980条,爬行次数 32万次,爬行频率 8.1秒/次;
由以上数据不难看出,几大搜索引擎蜘蛛的习性:GOOGLE蜘蛛相对稳定,爬行频率比较平均,也就造成了我们平时说的GOOGLE对站点收录速度比较慢;BAIDU蜘蛛爬行频率最高,对频繁更新的站会给予高度关注,收录更新比较快,但有时候会对服务器造成一定负担;YAHOO蜘蛛数量巨大,平均工作效率不高,而且收录结果中关键字对应不好。