网站屏蔽无用蜘蛛爬虫，减轻主机压力！

有很多分析网站导致不知名的爬虫有很多，这些垃圾蜘蛛频繁抓取我们的网站，对主机压力大，特别是主机配置不高的情况下，那么怎么屏蔽这些垃圾蜘蛛减轻主机压力呢?

一般来说，屏蔽蜘蛛抓取有三种方法：

1. Robots屏蔽
2. UA屏蔽
3. IP屏蔽

我们一般都是通过Robots屏蔽这个方法，Robots 协议（也称为爬虫协议、机器人协议等）用来告诉搜索引擎、爬虫哪些页面可以抓取，哪些页面不能抓取。

常见垃圾蜘蛛：

• AhrefsBot：通过抓取网页建立索引库,并提供反向链接分析和服务。
• dotbot：在线营销分析软件。
• MJ12bot：英国搜索引擎。
• Deusu：个人的项目一个搜索引擎。
• grapeshot：这家公司好像也是分析网站用的。

屏蔽方式如下：

在robots.txt目录下添加下面的代码，添加之后再用百度站长平台检测一下robots是否正确。

各大常见蜘蛛：

1、阿里云产品最新优惠领取地址：立即前往。

2、阿里云服务器优惠券领取地址优惠购买地址：点击前往。

3、阿里云最新优惠活动地址汇总，共16个，地址：点击前往。

4、同配置云产品腾讯云相对便宜，先点此一键领取2860元无门槛满减券（老用户换QQ登陆，同一实名享新人特价），再点此进入腾讯云活动页面。12年老码农建议：服务器升级、复购、续费贵，数据迁移也麻烦，建议用好新人优惠资格，买多年，配置一次性到位，后期省事又省钱。