搜索引擎喜欢抓取什么格式的网页内容？

搜索引擎都抓取什么内容？
1.将网站页面进行静态处理
将动态页面通过程序生成静态页面，由于静态页面的存在，少了动态解析过程，所以提高了页面的访问速度和稳定性以及安全性，使得优化效果非常明显。目前大部分CMS系统已经实现URL静态化，并且部分论坛程序也可以使用MVC三层架构，通过Rewrite技术实现了URL伪静态。URLRewrite方式特点鲜明，由于是服务器内部解析的地址，所以内容是实时更新的，也不存在文件管理和硬件问题，维护比较方便。在服务器级URLRewrite重写技术并不影响页面的执行速度。如果可以实现自定义URL生成规则，甚至包括后缀名，这样将更能在URL中突出Keyword，提高网页的权重。
2.采用CSS+DIV布局网站
采用CSS+DIV的网页对于SEO而言要强于Table编写的网页。对于以内容为主的CMS系统来说采用CSS+DIV的排版的网页可以将文章的内容放到Html代码中更加靠前的位置，以便于搜索引擎蜘蛛更快地找到它所需的内容。而且从网页浏览速度上考虑，采用CSS+DIV重构的页面容量要比Table编码的页面文件容量小得多，前者一般只有后者的1/2大小。使用DIV+CSS布局，页面代码变得精简，能够让蜘蛛程序高效索引整个站点。
代码精简所带来的直接好处有两点：
一是提高搜索引擎蜘蛛的爬行效率，能在最短的时间内爬完整个页面，这样对收录质量有一定好处;
二是由于能高效的爬行，就会受到搜索引擎蜘蛛的喜欢，这样对收录数量有一定好处。
3.支持标签优化标签优化
是指Title、Keywords、Deion的优化。CMS系统应该在后台允许客户输入自定义的网页标题标签TitleTag，关键词标签KeywordsTag和描述标签DeionTag。对大的网站来说，用户自定义每个网页的标题，关键词和描述标签，比较困难，工作量太大。但是至少对首页和频道首页应该允许用户自定义，对更深层的产品页可以给用户两种选择，既可以自定义，也可以从产品名称和描述中自动提取。
需要注意的是，每一个网页的标题，关键词和描述标签都应该不一样，千万不要做成一个频道里所有网页标题全是一个。
4.对文章页面的Keyword与Deion内容进行优化
这里提到的Keyword和Deion与第三条是不同的，这里主要指的是文章页面的Keyword与Deion。最好的办法是根据文章发布时生成的TAG来自动生成关键词，Keyword部分可以直接调用具体文章的关键词。
而描述可以自动截取每篇文章正文的前100个汉字放入Deion中。这样一来，文章无论是Keyword还是Deion都能很好的结合起来，大大提高了内容的相关度。
5.SessionID的生成
不少电子商务网站都会对所有访客自动产生SessionID，这也十分不可取。因为搜索引擎蜘蛛每次来的时候都会得到一个不同的SessionID，这样同一个页面就会产生多种URL，造成复制内容网页。如果需要的话，应该是客户登录以后再产生SessionID，对未登录的一般访问完全没有必要产生一个SessionID。
6.使用外部Java和CSS文件
不管是由CMS系统生成的网站，还是普通网站都常会犯的一个错误就是，把Java和CSS放在网页的最前面，把真正的内容推到了很后面。
在实际应用中，使用外部Java和CSS文件可以提高页面的速度，因为Java和CSS文件都能在浏览器中产生缓存，在没有增加HTTP请求次数的同时可以减少HTML文档的大小。而内置在HTML文档中的Java和CSS则会在每次请求中随HTML文档重新下载，这虽然减少了HTTP请求的次数，却增加了HTML文档的大小。
7.建立帖子导航
就是在每个话题的具体帖子下面出现一个与之内容相关的帖子导航。
一种方式是为文章建立多个关键词，并在文章内容下面列出，当用户点击这些关键词，自动进入该关键词的搜索页面。第二种方式是在文章内容下面提供相关文章列表，自定义规则、显示规则，譬如，按哪个关键词、是按相关度来展示还是按时间展示等，在内容页中显示本类下的TOP10、推荐文章，并建立一个随机内容区域，用来展示本类下的文章。
8.生成XML格式网站地图
网站地图已经被人们经常挂在嘴边，但是很多CMS系统只有生成HTML格式网站地图的功能，却没有生成XML格式网站地图的功能。
其实HTML格式是给网站浏览者看的，而XML却是给搜索引擎抓取的。所以，CMS系统不仅要能自动根据设定的栏目名称和逻辑结构生成HTML格式网站地图，而且还要能生成XML格式的网站地图，并能够时实更新，然后将XML地图自动提交给搜索引擎网站。