首先科普一下：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
在这里小小蚂蚁就提供一些国外搜索引擎的爬虫信息，起码我认为如果我们做国内seo优化那么就没有必要给国外搜索引擎爬虫开放robots爬取权限，因为这会占用你很多的服务器资源，而且即使国外搜索引擎收录也不能为您带来啥实际利益。毕竟天猫和淘宝都有马云的股份，那你能说天猫和淘宝的系统是一样的吗？
即使性质相同但系统并不一样，如同我们的小小蚂蚁主题不也会有其它网站程序的吗？
现在大家来看看这些国外爬虫信息吧！
YandexBot/3.0
YisouSpider/5.0
AhrefsBot/6.1
Googlebot/2.1
YandexTurbo/1.0
DotBot/1.1
MJ12bot/v1.4.8
BLEXBot/1.0
Ezooms/1.0
AhrefsBot/4.0
DoCoMo Spider
Googlebot（谷歌蜘蛛 虽然国内不能访问，但不否认有点流量）
而国内搜索引擎常用且有实质价值的有
360Spider
Baiduspider
sogou spider
如果只是做国内seo优化及网站服务器性能有限的话小小蚂蚁建议大家只对百度蜘蛛开放，毕竟目前来看百度最大。
当然想全网营销的话到是可以不管，这取决于您的服务器性能以及网站内容！
欢迎查阅《解读百度站长学院《搜索引擎工作原理》之抓取篇》希望对大家有帮助。
