禁掉MJ12bot/SemrushBot/AhrefsBot/DotBot垃圾蜘蛛，别浪费服务器
最近运维发现有几个蜘蛛貌似没事啥用还疯狂爬取，经常导致服务器卡顿。网上搜了一圈普遍认为可以直接禁掉。
把禁用的蜘蛛放在robots里即可
User-Agent: MJ12bot Disallow: / User-Agent: SemrushBot Disallow: / User-Agent: AhrefsBot Disallow: / User-Agent: DotBot Disallow: /
这些都是没用的蜘蛛,可以直接屏蔽。
上一篇
信息由用户投稿以及用户自行发布，真实性、合法性由发布人负责，涉及到汇款等个人财产或隐私内容时请仔细甄别，注意防骗！如有侵权，请联系：wwwlaoyuwang#126.com(#=@)！我们会第一时间核实处理！