爬十页只爬到三十多条,为什么呢
python吧
全部回复
仅看楼主
level 4
莹janela 楼主
我爬python贴吧,爬十页但是只能爬到三十多条,有没有大佬看一下[泪]
2026年06月20日 05点06分 1
level 2
w
2026年06月21日 16点06分 3
level 8
贴吧列表页一页大约 50 条,但容易只拿到一部分,常见原因有这几个:
1. 分页参数不是 1、2、3,而是 pn=0、50、100、150 这样递增。
2. 选择器只匹配了普通帖,广告、置顶、折叠帖、特殊卡片结构可能不在同一个 class 里。
3. 有些内容是 JS 后加载的,requests 拿到的 HTML 和浏览器看到的不完全一样。
4. 被反爬或没带 User-Agent/Cookie 时,返回的可能是简化页、验证页或不完整页。
5. 解析时如果用 find 而不是 find_all,也会少很多。
建议你每页先 print 一下:当前 URL、响应长度、解析到的帖子数、前 3 个标题。这样很快能看出是分页错了,还是选择器错了。
2026年06月22日 16点06分 5
1