1、放慢抓取速度。尽量模拟实际用户的行为，目标网站的压力相对减少，但数据捕获效率也相应降低。
2、设置代理IP。
爬行器需要多个稳定的代理IP，例如太阳http每次用代理IP替换IP地址，目标站点都被视为新用户，自然不会有拉黑的危险。
上述是爬虫IP受限最常用的解决方案，希望对您有所帮助。
网络爬虫是获取互联网大数据的主流方式，但在获取信息时，捕获的信息与目标站点显示的信息不同，或者捕获空白信息，很可能您的IP地址受到目标站点的限制。
大多数情况下，IP地址是网站反爬机制的基础。当我们访问网站时，我们的IP地址将被记录下来。如果抓取频率高于目标网站的限制阀值，服务器您视为爬虫程序，限制您的访问。