“网络爬虫”，也叫网络蜘蛛，实际上是一种自动化的网络机器人，它取代人工来获取网上的信息。很多企业的业务和策略需要大量的多维数据分析，这使得爬虫越来越受到大家的青睐，
爬行动物说起来是一件简单的事。但往往简单的事要做到极致就需要克服很多困难。要做好爬虫工作需要注意几点，我们一起来看一看~。
1、网址管理与调度。
如果要访问的地址很多，就建立一个URL管理器来标记所有需要处理的URL。如果逻辑不复杂，就可以使用数组这样的数据结构，在逻辑比较复杂时用数据库来存储。资料库的一个优点是，当一个程式意外挂起后，可以根据正在处理的ID号码继续执行，而不必重新开始，重新爬取以前已处理过的URL。
2、资料分析，分析数据指提取服务器返回内容中所需的数据。
最初的方法是使用“正则表达式”，一种通用的技巧，Python中的BeautifulSoup和Requests-HTML非常适合从标签中提取内容。
3、应对反爬虫策略。
有很多种服务器遏制爬虫的策略，HTTP请求每次都会带有大量的参数，服务器可以根据参数判断这个请求是否属于恶意爬虫。例如Cookie值不正确，服务器需要的值不是Referer和User-Agent。这个时候，我们可以通过浏览器查看服务器能接受哪些值，然后在代码中修改请求头的各种参数伪装成正常的访问。