爬虫技术吧 - RAT

2

2019-12-23

爬虫采集效率怎么提高？【芝麻http】

　　大家都知道采集数据是要花时间，可是也不能一直等着，尤其是需要采集大量数据的情况下。那么如何提高爬虫采集效率就是十分关键的，那小编带大伙儿一块去了解如何……

🧑lingjiangkeji

1

2019-11-08

如何获取代理IP的剩余有效时间

很多朋友在使用代理IP的时候，想知道代理IP的剩余有效时间，想在IP失效前进行切换，避免IP失效后影响业务的正常运行。那么如何获取代理IP的剩余有效时间呢……

🧑人生如水

4

2019-11-07

写爬虫用多进程好？还是多线程好？

🧑可爱的梦想家呀

3

2019-10-15

爬虫采集数据时如何使用代理IP

1、打开Python3，导入urllib的request，调用ProxyHandler，它可以接收芝麻代理IP的参数。 2、把IP地址以字典的形式放入其中……

🧑指尖盛夏之歌

0

2019-10-09

寻求爬APP数据的大佬，长期合作，会的可以私聊！

🧑戏子丶有义

1

2019-09-29

爬虫采集数据时如何使用芝麻代理IP？

1、打开Python3，导入urllib的request，调用ProxyHandler，它可以接收代理IP的参数。 2、把IP地址以字典的形式放入其中，设……

🧑指尖盛夏之歌

2

2019-09-13

爬取速度过快出现的验证码处理方法

🧑可爱的梦想家呀

16

2019-08-24

真小白怎么学爬虫技术

首先要掌握一些 Python 的基本代码：如果你没有一点编程基础，可能花1-2周，每天3小时；理解爬虫的原理：先弄清楚大框架，然后再从基础慢慢学起。

🧑璐村惂鐢ㄦ埛_7CatC2J馃惥

0

2019-08-01

为什么通过API获取的ip不能用？

ip是有时长的，超过这个时间，ip就无法使用了，需要重新从芝麻http提取ip。

🧑毫几德谎

2

2019-07-31

什么是爬虫和反爬虫？

今天，芝麻HTTP就为大家简单介绍一下爬虫和反爬虫的相关问题! 爬虫：使用任何技术手段，批量获取网站信息的一种方式。反爬虫：使用任何技术手段，阻止别人批……

🧑毫几德谎

3

2019-07-20

scrapy 和 scrapy-redis的区别介绍

🧑可爱的梦想家呀

2

2019-07-18

获取代理ip后，怎样测试代理ip的速度？

芝麻HTTP可以在线检测代理ip的速度。

🧑毫几德谎

2

2019-07-16

爬虫代理ip怎么用？

爬虫代理ip可以直接提取使用，比如在浏览器上设置代理，也可以放在代码里，芝麻http有相应的代码demo，可以进行参考。

🧑毫几德谎

1

2019-07-09

解决反爬虫三个基本策略

　　1、User-Agent伪装和轮换。　　2、降低抓取频率，设置访问时间间隔。　　3、使用芝麻HTTP代理，不断更换ip来爬内容。

🧑毫几德谎

3

2019-04-26

爬虫应该从哪开始学?有没明白的聊一下

爬虫技术那么强，有没大神指导指导，让菜鸟学习一下

🧑贴吧用户_7Ca15CK🐾

0

2019-03-19

亿牛云api代理提供文档

API格式提取 API就是url链接，用户的程序需要支持API的读取，定期从url中获取代理IP的相关信息，其文本格式如下：（1）默认文本格式

🧑敏敏张487

0

2019-02-27

目标网站反爬虫很严要怎么解决？

一前言在网站的采集过程中，每天都要面对网站的各种反爬虫技术，然而我们要想拿到数据，就需要针对性的制定很多方法来突破他们的反爬。例如，在采集数据过程中目……

🧑敏敏张487

0

2019-02-26

亿牛云动态转发与传统API提取代理的区别

传统API提取式代理，通过URL定时获取代理IP信息，需验证IP的可用性、更换代理设置，同时需要设计多线程异步IO，实现代理IP并发处理，不仅繁琐，而且影……

🧑敏敏张487

0

2019-02-25

求好用的爬虫代理推介？

有没有质量好的代理推介，像亿牛云提供的动态转发模式的.

🧑敏敏张487

7

2018-10-24

有谁会爬虫技术！

🧑cpw147383222

3

2018-07-26

生活从来就不是一件容易的事！

🧑一梦华胥😇