宝塔及robots禁止BLEXBot垃圾蜘蛛爬虫爬行
今天查看一台Vps服务器的网站日志的时候，发现了一个爬行频率超高的蜘蛛爬虫BLEXBot，初一看这个蜘蛛爬虫觉得爬行频率那叫一个高，快的时候几秒钟爬一次，慢的时候几十秒钟爬行一次，这样的爬行频率，小小的Vps再会受得了，所以决定先看看这个BLEXBot是个啥玩意爬虫，然后再对这个垃圾爬虫进行禁止，所以就有了这篇文章。
BLEXBot是什么蜘蛛爬虫?
BLEXBot是WebMeUp的蜘蛛爬虫，而WebMeUp是米国的一个查询反向链接的蜘蛛程序，只要爬到了我们的站上真的就是不停的狂爬。
这样的蜘蛛爬虫对于国人来说，也没有什么作用，而且还占用机器的带宽，所以还是应该对这个蜘蛛进行禁止。
robots.txt中禁止BLEXBot蜘蛛爬虫
在网站的根目录下打开robots.txt文件，在robots.txt中填写一下禁止BLEXBot的语句：
User-agent: BLEXBot Disallow: /
在robots.txt中加上以上的禁止爬行的语句后，在网站日志里发现居然还在不停的爬行，BLEXBot蜘蛛官方给出的说明是10分钟内将不在爬行。
可是十分钟过去了，感觉仍然一直在爬行，很有可能因为时差的问题，所以就在宝塔里面进一步进行了禁止。
宝塔里禁止BLEXBot蜘蛛爬虫
1、首先我将这个蜘蛛的IP添加在了防火墙里，更新日志记录，发现IP都是1 5 7. 9 0. 1 7 7. 2 1 4.暂时还没有发现有其他的IP。
2、在防火墙里将BLEXBot添加到了全局配置的User-Agent过滤规则中。
大概今天上午10:50左右进行了以上操作，下午查看网站日志发现BLEXBot在11：10左右就没有再进行爬行了。以上就是本次记载的宝塔及robots.txt禁止BLEXBot垃圾蜘蛛爬虫爬行的全文。
上一篇
信息由用户投稿以及用户自行发布，真实性、合法性由发布人负责，涉及到汇款等个人财产或隐私内容时请仔细甄别，注意防骗！如有侵权，请联系：wwwlaoyuwang#126.com(#=@)！我们会第一时间核实处理！