selenium在scrapy middleware中进行页面加载超时问题
selenium吧
全部回复
仅看楼主
level 1
二十而慄☞
楼主
故事是这样的,最近在爬携程的景点及评论,页面分析的已经很透彻,开局进展也是很顺利,不怕的人机验证,挂在服务器上,挂了之后就重启,有做去重工作,然后今天忽然发现一个意想不到的selenium超时问题,原因看下图,由于页面error,https的请求了http,然后我们可爱的selenium就超时了,windows.stop()之后driver那里是没有数据的。。
2019年10月31日 03点10分
1
1