level 4
最近通过ai了解到python这个软件 经常看的有人爬某某软件请问这是什么意思可以做什么 是统计数据吗还是可以看的后台才能看见的东西有什么用
2026年02月26日 09点02分
1
level 7
python爬虫从网上批量下载数据来做大数据分析,或者是单纯的下载电影,音乐之类的。
2026年02月26日 12点02分
3
level 1
就比如你想要将一本小说下载到本地,你在洋柿子上看到了所有章节,但每一章你都要点它目录的标题打开新页面进去,才能看到内容。
你想了下,一篇一篇复制,不就几百章嘛,也不是太麻烦。
可是操作时你发现,哎,它不让你复制。
那咋办?总不能手打吧?
于是,你想到了爬虫。
用Python模拟登录账号、选择书籍ID,获取目录页每一章对应的章节内容ID
在正文页面按出F12,看到每一段都是比较整齐的<div><span>等元素标签装着一段一段的文字内容,你又对其进行了加工,只保留了需要的文本。
之后,with open新建一个txt,逐行将每段文本a+,写完这些命令代码以后,只需点一下运行按钮,几秒钟的时间,文件夹下就多出了一个存有所有章节内容的.txt
同理,也可以通过截取数据包,分析软件向服务器请求到的数据,然后进行加工。
爬虫爬取某软件,意思就是通过爬虫的手段,获取你想要的内容。
2026年02月26日 14点02分
4
谢谢大佬明白了 就是可以直接跳过平台的约束获得想要的内容
2026年02月27日 03点02分
那这样是违法的行为吧还是说特定内容才会
2026年02月27日 03点02分
@释信吾 你要是碰到那种反爬机制特别严的你爬不进去
2026年02月27日 06点02分
level 1
就是爬取数据,可以去看看我经常学习的一个资源网站,猿学谷,应该对你学习比较有帮助
2026年02月28日 06点02分
6