level 1
用selenium爬虾皮网站的时候遇到网页检测出来是selenium在请求,一直重定向到错误页面,看不到网站的数据内容,求助一下怎么弄呢
2023年11月24日 06点11分
1
level 1
这个爬取试了一下,他会有两个遮挡,把这两个遮挡去掉之后,会检测你的浏览器,你要添加代码:
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
混淆他,之后他又会让你做验证码,做完之后就可以成功爬取了
2023年12月19日 06点12分
4