level 3
在互联网信息爆发时代，上传信息很简单，收集信息则是非常庞大的工程。好在人是具有极强创造力，遇上麻烦，便会想方设法处理麻烦。同样在应对互联网庞大的信息库，以便更好的提升工作效率，研发出了网络爬虫。
2020年07月20日 07点07分
1
level 3
网络爬虫是一种用于自动浏览万维网的程序或脚本，按照用户的要求抓取数据，然后进行分类整理。因为爬虫的工作性质，他需要反复多次访问网页，在这一过程中会消耗目标系统资源，因而在访问大量页面时，爬虫需要充分考虑规划、负载等问题。
2020年07月20日 07点07分
2
level 3
网站一般会设置监督机制，也就是防爬取技术，预防爬虫过度爬取导致网站负荷。监督机制是通过IP的访问次数来辨别是不是使用了爬虫，倘若该IP超过了网站所设立的最高网站访问次数，网站便会对该IP进行封禁，相应的，爬虫的工作也不可以继续了。
2020年07月20日 07点07分
3