因特网上有许多商业或网页，是无需用户登录的，这些无需登录的页面，通常会包含大量的聚合信息，如新闻门户.视频门户.搜索引擎，这些信息是公开的，可以被爬虫捕捉。
一.网站为什么要反爬虫？
1、爬行器占总的PV比例高，造成服务器资源的浪费。
利用程序进行URL请求来获取数据所需的成本非常低，这造成大量低质量的网页爬虫在网络上横行，对目标网站产生大量的访问，导致服务器资源大量消耗，轻则影响正常用户的访问速度，重则导致网站服务不可用。
2、公司可以免费查询的资源被批量获取，失去竞争力。
许多软件的价格都可在非登录状态下直接查询，若无后顾之忧，竞争者可批量拷贝网页信息，抓取软件的价格.资源等各种信息，时间一长，企业的竞争力将大大降低。
我们正在反哪一种爬虫？
1、不怀好意的竞争，黄牛利用恶意爬虫穿越航空公司的低价机票，同时批量发起机器请求占座。
导致航班座位资源持续占用而产生浪费，最终引发航班空座率高给航空公司带来业务损失，并损害正常用户的利益。
2、谁也不想让自己停下来，因特网近60%的访问量是由爬虫造成的。
该网站已经对这些爬虫设置了限制。以防止爬虫爬取数据。即使在抓取资料时，这种爬虫仍然会孜孜不倦地工作。那是因为有些爬虫驻留在某台服务器上，已处于无人认领状态。
3、同行竞争者，公司需要数据来分析用户行为，自身产品的缺陷及竞争者的信息等。
就会爬过竞争对手的信息，像电子商务类的网站.招聘类的网站会爬取竞争者的产品信息，为确保其产品竞争力，企业往往会针对这类爬虫产品。
4、网站点击量。
发布广告的目的往往是为了接触到符合网站定位的潜在消费者，而由于恶意爬虫所造成的点击欺诈，使广告的点击率虚高，使网站承担了本不应该承担的点击费用，给网站带来了实际的利益损失。