selenium爬网站的问题,求助求助
selenium吧
全部回复
仅看楼主
level 1
sanmensr 楼主
用selenium爬虾皮网站的时候遇到网页检测出来是selenium在请求,一直重定向到错误页面,看不到网站的数据内容,求助一下怎么弄呢
2023年11月24日 06点11分 1
level 1
sanmensr 楼主
顶顶,等大佬来看看 https://shopee.com.my/ 是这个网站哈,有重定向
2023年11月24日 09点11分 2
楼主解决了吗,你是访问不到首页还是访问不到商品详细页
2023年12月19日 16点12分
level 1
这个爬取试了一下,他会有两个遮挡,把这两个遮挡去掉之后,会检测你的浏览器,你要添加代码:
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
混淆他,之后他又会让你做验证码,做完之后就可以成功爬取了
2023年12月19日 06点12分 4
1