极光爬虫告诉你爬虫能否不使用ip代理?
http吧
全部回复
仅看楼主
level 4
网络爬虫大家都知道是抓取数据的程序,很多人都说爬虫需要用代理IP才可以不被封IP。那么,网络爬虫不使用代理IP会封号吗?
实际工作量很大,要爬取几十万个网页,用着用着可能就封号IP了,没有代理IP是完成不了的。网络爬上网络爬虫是否封号还是要看工作量。比如每天只采集很少的数据,当然不使用代理IP。倘若每天的虫用不用代理IP还是要依据自己的具体情况来看。工作效率没有很高的要求,目标服务器可以承受,这样就不会封IP,因此用不到代理IP。倘若任务量大,慢慢爬是完不成工作任务的,加快爬虫速度,目标服务器的压力会很大,当然就会封IP,因此需要代理IP来解决。极光HTTP不吝惜产品质量,为确保您获得最佳体验,我们选择与国内最值得信赖的运营服务商进行深度合作。
2020年04月23日 05点04分 1
level 4
2020年04月23日 05点04分 2
1