学习爬虫的思路
python吧
全部回复
仅看楼主
level 2
我想问一下大家写爬虫都是怎么想的呢?我看网上的很多主播在控制台里对各种抓包来的文件进行分析,但是我不知道这些文件都是什么意思?有什么用?网站里面的很多内容都是由各种信息拼凑出来的网址得到的,但是这个拼凑的过程,那些博主是怎么知道要拼凑的部分应该放在哪里?这些问题我不一定要得到确切答案,但希望各位大佬如果知道的话,可以给我指个方向
2026年08月21日 14点08分 1
吧务
level 12
找份完整的爬虫教程看看
2026年08月21日 15点08分 2
很多教程默认的基础不一样,有的说是0基础,但是学到一半又会给你很多你不知道的东西
2026年08月22日 03点08分
level 7
如果你要爬的网站没有开放所需的API,或者你要使用网站的私有接口,那就需要web/js逆向。而抓包就是逆向的一种手段。至于最后的结果是不是正确的,写写代码验证一下就可以了。
2026年08月22日 00点08分 4
level 7
做几个实战项目,用ai写,很多网站有反爬机制
2026年08月22日 02点08分 5
level 1
看样子是欠缺了web编程相关的基础知识,比如html,js,css之类的。
也欠缺网络基础相关知识,比如请求头,接口,参数,https,json/xml之类的。
2026年08月22日 02点08分 6
level 9
最好以具体的网站为例子提问,虽然很多技术是通用的,但是遇到不同的网站解决办法又不太一样,关键你这样提问,别人也没法给你回答。
2026年08月22日 04点08分 7
level 1
基础差太多了
2026年08月24日 02点08分 8
level 1
爬虫要学好,主要是动手边实践边学些理论,只想苯办法哪怕效率低但看视频看多了就必然会的认知是错的。
2026年08月24日 05点08分 10
有python的爬虫教程也有js等语言的,建议就python的就行,学多了可以加点js的。边实践边学中会遇到很多疑问,解决大多数疑问才会成长,视频里是被动接受知识,没过手根本没用。
2026年08月24日 05点08分
1