在有些时候我们需要在网站中把蜘蛛屏蔽掉，以下为Rewite规则来实现的方法。

在windows系统中，我们通常用Rewite来做伪静态处理，Rewite规则文件是：httpd.conf

#Block spider
RewriteCond %{HTTP_USER_AGENT} "Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot
|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl
|Python|Wget|Xenu|ZmEu" [NC]
RewriteRule !(^/robots\.txt$) - [F]

在liunx系统中，规则文件为：htaccess，必须要我们手工创建.htaccess文件到站点根目录

<IfModule mod_rewrite.c>
RewriteEngine On
#Block spider
RewriteCond %{HTTP_USER_AGENT} "Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot
|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl
|Python|Wget|Xenu|ZmEu" [NC]
RewriteRule !(^robots\.txt$) - [F]
</IfModule>

注：规则中默认屏蔽部分不明蜘蛛，要屏蔽其他蜘蛛按规则添加即可
附各大蜘蛛名字：
google蜘蛛： googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
bing蜘蛛：bingbot
altavista蜘蛛：scooter
lycos蜘蛛： lycos_spider_(t-rex)
alltheweb蜘蛛： fast-webcrawler
inktomi蜘蛛： slurp
有道蜘蛛：YodaoBot和OutfoxBot
热土蜘蛛：Adminrtspider
搜狗蜘蛛：sogou spider
SOSO蜘蛛：sosospider
360搜蜘蛛：360spider

另外Isapi_Rewite下载地址为：http://www.467.cn/shownews_366.html