def xiaohongshu():
url='https://www.xiaohongshu.com/explore'
options = webdriver.ChromeOptions() # 创建一个选项 最终运行按照选项执行
options.add_argument('--headless') # 隐藏浏览器
driver = webdriver.Chrome()
# 禁用webdriver检测的脚本
script = 'Object.defineProperty(navigator, "webdriver", {get: () => false,});'
driver.execute_script(script)
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => false
})
"""
})
driver.get(url)
time.sleep(15)
# 拉到浏览器底部
# for _ in range(5):
# driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")
# time.sleep(3)
# page_source = driver.page_source
page=int(request.args.get('page',''))
#选择板块
n=1
ls=[]
list1=[]
while page>0:
try:
title=driver.find_element(f'/html/body/div[1]/div[1]/div[2]/div[2]/div/div[2]/section[{n}]/div/div/a/span').text
print(title)
path=driver.find_element(By.XPATH,f'/html/body/div[1]/div[1]/div[2]/div[2]/div/div[2]/section[{n}]/div/a[2]/@href').text
path='https://www.xiaohongshu.com'+path
print(path)
print(title,path)
dict={'title':title,'path':path}
ls.append(dict)
n+=1
except:
# driver.execute_script("window.scrollTo(0,document.body.scrollHeight)") #拉到底
driver.execute_script("window.scrollBy(0, 900);") #向下啦900像素
time.sleep(2)
page-=1
ls=[list1.append(i) for i in ls if i not in list1]
print(ls)
# driver.quit()
return ls
![img](https://img-mid.csdnimg.cn/release/static/image/mid/ask/045026126296157.png "#left")
解决selenium登录小红书报网络异常问题,感觉是被检测到了,不知道怎么解决了
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
13条回答 默认 最新
关注 获得0.75元问题酬金 解决方法
1、换个ip试下,比如手机热点
2、如果换热点ip可以解决的话,就弄个代理服务来自动进行切换ip。
如果换了ip还不行的话,需要考虑隐藏selenium的操作,
3、按照这个进行隐藏selenium的操作
具体可以参考stackoverflow的高赞回答:javascript - Can a website detect when you are using Selenium with chromedriver? - Stack Overflow https://stackoverflow.com/questions/33225947/can-a-website-detect-when-you-are-using-selenium-with-chromedriver
如有问题随时沟通
如有帮助欢迎采纳解决 无用评论 打赏 举报 编辑记录
悬赏问题
- ¥50 关于#华为#的问题:华为HMS账号登录
- ¥20 Html备忘录页面制作
- ¥15 黄永刚的晶体塑性子程序中输入的材料参数里的晶体取向参数是什么形式的?
- ¥20 数学建模来解决我这个问题
- ¥15 计算机网络ip分片偏移量计算头部是-20还是-40呀
- ¥15 stc15f2k60s2单片机关于流水灯,时钟,定时器,矩阵键盘等方面的综合问题
- ¥15 YOLOv8已有一个初步的检测模型,想利用这个模型对新的图片进行自动标注,生成labellmg可以识别的数据,再手动修改。如何操作?
- ¥30 NIRfast软件使用指导
- ¥20 matlab仿真问题,求功率谱密度
- ¥15 求micropython modbus-RTU 从机的代码或库?