我想用webdriver爬一个网站,但是他那个有反扒机制,我就用了mitmproxy,
但是用了mitmproxy 之后,我再用webdriver 打开网页就打不开了。
下面这样,只要使用代理,网页就打不开了。
options = Options() #chromedriver.exe选项
options.add_argument('--proxy-server=127.0.0.1:8080') #设置代理,让访问的链接通过mitmproxy的代理端口
options.add_argument('--ignore-certificate-errors') #忽略证书错误,就是能加载没安全证书或者过期的网站
wd = webdriver.Chrome('C:\Program Files\Python38\chromedriver.exe', options = options)
请问这样怎么办呢?还请大家指点一下,一言半语的关键词就行,我自己搜搜,网站地址:
https://sycm.taobao.com/ipoll/visitor.htm?spm=
a21ag.7623864.LeftMenu.d181.32063ba5Pjxy3v#/