世界知名搜索引擎 蜘蛛名称列表
本文记录了世界较著名的Robots.txt列表所需设置的搜索蜘蛛名称。如何设置哪个目录不被搜索引擎收录的操作方法请参照设置；当然必须通过Robots.txt；下列为比较出名的搜索引擎蜘蛛名称：
Google搜索引擎蜘蛛统称:Googlebot
Google=Google.com
Googlebot/1.0=Google.com
Googlebot/2.1= Google.com
Googlebot/Test=Google.com
googlebot@googlebot.com=Google.com
Googlebot=Google.com
Googlebot-Image/1.0=Google.com Image Bot
百度搜索引擎蜘蛛统称：baiduspider
Baiduspider+=Baidu.com
BaiDuSpider=Baidu.com
Yahoo搜索引擎蜘蛛统称：Yahoo Slurp
Inktomi Search=Yahoo.com
Inktomi=Yahoo.com
Mozilla/5.0 (compatible; Yahoo! Slurp;)=Yahoo.com
Slurp.so/1.0= Yahoo.com
Slurp/2.0j=Yahoo.com
Slurp/2.0-KiteHourly=Yahoo.com
Slurp/2.0-OwlWeekly=Yahoo.com
Slurp/3.0-AU=Yahoo.com
slurp@inktomi.com=Yahoo.com
slurp@inktomi= Yahoo.com
Slurp=Yahoo.com
spider@aeneid.com=Yahoo.com
www.inktomisearch.com=Yahoo.com
YahooSeeker/CafeKelsa=Yahoo.com Read more…
