快好知 kuaihz

遇到蜘蛛抓取流量过大的时,该如何处理?

一般情况下,百度pider会根据网站规模、网站历史上每天生成的新链接数、捕获网页的综合质量分数等综合计算捕获流量。,考虑到站长在捕捉频率工具和网站上所能承受的较大捕获值。交通量突然增加有几个原因:1、百度pider发现站内有很多JS代码,并调用了大量资源分析和抓取JS代码。2、来自其他部门(如商业和图片)的百度蜘蛛正在抓捕,但流量控制不好。3、被抓取的链接得分不高,垃圾太多,导致SPID Er重新抓取4、网站受到攻击。有人模仿百度爬虫(推荐阅读:如何正确识别百度蜘蛛)。如果站长排除了自己的问题和造假问题,并确认百度蜘蛛抓取的流量过大,他可以通过反馈中心进行反馈。请记住提供详细的捕获日志截图。

一般情况下,百度pider会根据网站规模、网站历史上每天生成的新链接数、捕获网页的综合质量分数等综合计算捕获流量。,考虑到较大捕获值由网站管理员设置在捕获频率工具和网站可以承受。

从已追查到的抢夺流量突然增加的案件来看,原因可分为以下几点:

1、Baiduspider发现站内有很多JS代码,并调用大量资源解析和抓取JS代码

2、百度其他部门(如商业、图片等)的蜘蛛正在抓捕,但流量控制不好,对不起

3、被抓取的得分环节不够好,垃圾太多,导致蜘蛛再次抓取

4、网站受到攻击,有人模仿百度爬虫(推荐阅读:如何正确识别百度蜘蛛)

如果站长已经排除了自己的问题和造假问题,并确认百度蜘蛛的抓捕流量过大,可以通过反馈中心进行反馈。

本站资源来自互联网,仅供学习,如有侵权,请通知删除,敬请谅解!
搜索建议:抓取  抓取词条  蜘蛛  蜘蛛词条  何处  何处词条  流量  流量词条  遇到  遇到词条  
优化

 YGBOOK6.14商业版小说系...

摘要前几天在网上偶然间发现这个YGBOOK6.14商业版破解的。在之前也使用过YGBOOK系统,是在官网下载的免费版,嗯,那时年轻,不会玩,主要还是不会写采集。...(展开)

优化

 网站优化从前端开始

    【网络推广大熊猫优化】网站优化从前端开始    SEO的优化,跟前端工程师有着密不可分的关联,那么如何从前端方面...(展开)