网站SEO优化-百度蜘蛛再次抓取更新策略
作为一个SEOER工作者，我们在优化过程中，经常会遇到索引消失，网站排名尤其是内页排名消失的情况，这里就涉及到百度蜘蛛再次抓取更新策略。
Spider把网页抓取到本地，该网页被分析索引并参与了排名，并不意味着Spider针对该网页的工作已经结束了。现在互联网网页内容多是动态变化的，甚至有时网页会被管理者删除。搜索引擎只需要为Spider设置一个再次抓取和更新页面的策略，如何发现之前抓取的内容，与网上的其他内容非常相似或者相近，会做删除处理，这也就是索引消失的原因。
所以对于已经排名在前50的长尾词，我们可以追词处理，丰富文章页面内容，同事更大的满足用户体验。站在Spider的角度，一般会根据以下四个方面来确定对已索引网页的再次抓取频率：用户体验、历史更新频率、网页类型和网页权重。
用户体验
SEO的根本原理在于提高网站内容相关性、权威性和实用性。其中的实用性指的就是用户行为，也就是说网站实用性越高，对用户越有用，用户表现出来的行为又会影响网站排名。当一个页面或者网站，用户体验一般，势必会造成跳出率高，浏览时间短等问题，久而久之，排名势必会下降。
历史更新频率
网站内容更新，像是为网站增加源源不断的能量来源，我们的网站经常更新，蜘蛛就会经常抓取，如果网站页面持续没有更新，蜘蛛可能会降低抓取频次，甚至不再抓取，同时Spider注重的变化应该是网页的主体内容部分，一般会忽略主体内容周围的广告模块、导航模块及推荐链接模块的更新变动。
网页类型
不同的网页类型有不同的更新频率。在同一个站点内网站首页、目录页、专题页和文章页的更新频率肯定是不同的。例如我们做的新站，90%都是先抓取首页，收录首页页面。我们网站内页的内容是具有时效性的，蜘蛛可能来一次就不再来了，所以我们站点可以绑定百度的api，内容发布后直接提交，也可以参照sitemap提交，效果不如前者好。搜索引擎有足够的能力发现网页的类型并设置合理的再次抓取频率。网页类型归类和网页历史更新频率是被综合使用最多的，一般在同一站点内同类网页会有相同的更新频率，这也会方便Spider对网页更新频率的判断。
网页权重
网页权重也是决定抓取频率的重要因素。用户体验在一定程度上也反映了网页权重的影响。在网页类型相同、历史更新频率也差不多的情况下，肯定是权重越高的页面被抓取的频率越高。比如新浪，好123等，同样的文章，发布在这些网站，简直就是秒抓，秒收。
普通企业站首页可能偶尔还会有更新，但由于获取外部链接支持的质量和数量都不同，用户每日通过百度搜索访问的数量更是不同，所以搜索引擎对这些页面的抓取频次肯定有天壤之别。普通企业站，蜘蛛抓取频次可能是几十，或者几百次，和这些大站差距是挺大的。
总结
在SEO工作中为了提高某一网站的抓取频率，一般会重点为该页面的导入链接提高权重，努力加大该页面的更新频率。其实在用户体验和网页类型方面也是有工作可做的，用标题和描述吸引点击不仅可以提升排名，也能够间接增加页面被Spider抓取的频率;同时对于不同定位的关键词可以使用不同的网页类型(列表页、专题页、内容页等)，这在设计页面内容和网站架构时就应该仔细地考虑，并且网页类型这部分有很多工作值得做。比如，有不少网站把整站都做成了列表页，全站没有普通意义上的内容页，内容页主体内容下方或周围也有大量和主题相关的文本内容，一般是类列表形式。不过这种手法有效时间不长，或者损害用户体验后会降低被抓取的频率。不论怎样，优秀的网站架构设计应该合理地利用Spider抓取策略的各种特性。(外链，用户体验，站内优化)
以上讨论的是Spider正常的抓取策略。有抓取并不代表一定有更新，当页面内容的变化值得搜索引擎更新索引时才会更新。比如，上面提到的文章页主体内容不变但是推荐链接全变了，一般搜索引擎也不会浪费资源做无意义的更新。当Spider发现已经索引的页面突然被删除，也就是服务器突然返回404状态码时，也会在短时间内增加对该页面的抓取频率。但这仅仅是来确认这批网页是否真正被删除了，增加的这些抓取对于站点本身内容的收录和更新并没有什么作用。
不会得到比较高的抓取频率，也就造成这些网站不断在报怨百度不更新如此操作的新闻网页。普通企业站，我们可以通过百度站长提交，来尽量实现抓取的增加。
