执剑问道 2023-08-21 20:44 采纳率: 33.3%
浏览 460
已结题

解决selenium登录小红书报网络异常问题,感觉是被检测到了,不知道怎么解决了

img


def xiaohongshu():
url='https://www.xiaohongshu.com/explore'
options = webdriver.ChromeOptions() # 创建一个选项 最终运行按照选项执行
options.add_argument('--headless') # 隐藏浏览器
driver = webdriver.Chrome()

# 禁用webdriver检测的脚本
script = 'Object.defineProperty(navigator, "webdriver", {get: () => false,});'
driver.execute_script(script)
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => false
})
"""
})
driver.get(url)
time.sleep(15)

# 拉到浏览器底部
# for _ in range(5):
# driver.execute_script("window.scrollTo(0,document.body.scrollHeight)")

# time.sleep(3)
# page_source = driver.page_source
page=int(request.args.get('page',''))
#选择板块
n=1
ls=[]
list1=[]
while page>0:
try:
title=driver.find_element(f'/html/body/div[1]/div[1]/div[2]/div[2]/div/div[2]/section[{n}]/div/div/a/span').text
print(title)
path=driver.find_element(By.XPATH,f'/html/body/div[1]/div[1]/div[2]/div[2]/div/div[2]/section[{n}]/div/a[2]/@href').text
path='https://www.xiaohongshu.com'+path
print(path)
print(title,path)
dict={'title':title,'path':path}
ls.append(dict)
n+=1
except:
# driver.execute_script("window.scrollTo(0,document.body.scrollHeight)") #拉到底
driver.execute_script("window.scrollBy(0, 900);") #向下啦900像素
time.sleep(2)
page-=1
ls=[list1.append(i) for i in ls if i not in list1]
print(ls)
# driver.quit()
return ls
![img](https://img-mid.csdnimg.cn/release/static/image/mid/ask/045026126296157.png "#left")

  • 写回答

13条回答 默认 最新

报告相同问题?

问题事件

  • 系统已结题 8月29日
  • 创建了问题 8月21日

悬赏问题

  • ¥50 关于#华为#的问题:华为HMS账号登录
  • ¥20 Html备忘录页面制作
  • ¥15 黄永刚的晶体塑性子程序中输入的材料参数里的晶体取向参数是什么形式的?
  • ¥20 数学建模来解决我这个问题
  • ¥15 计算机网络ip分片偏移量计算头部是-20还是-40呀
  • ¥15 stc15f2k60s2单片机关于流水灯,时钟,定时器,矩阵键盘等方面的综合问题
  • ¥15 YOLOv8已有一个初步的检测模型,想利用这个模型对新的图片进行自动标注,生成labellmg可以识别的数据,再手动修改。如何操作?
  • ¥30 NIRfast软件使用指导
  • ¥20 matlab仿真问题,求功率谱密度
  • ¥15 求micropython modbus-RTU 从机的代码或库?