python webdriver爬虫如何处理json
用request模块请求会返回403，加了请求头还是一样的，这种情况用webdriver吗？但是我不知道怎么获得data
https://www.coollpet.com/api/comment-list?show_product=1&star_least=4&with_photo=1&limit=100
这个是请求的链接，或许有大佬知道怎么解决这个网站禁止访问的问题吗
python webdriver爬虫如何处理json
用request模块请求会返回403，加了请求头还是一样的，这种情况用webdriver吗？但是我不知道怎么获得data
https://www.coollpet.com/api/comment-list?show_product=1&star_least=4&with_photo=1&limit=100
这个是请求的链接，或许有大佬知道怎么解决这个网站禁止访问的问题吗
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答 默认 最新
- 2022-12-24 18:48回答 1 已采纳 从你提供的代码来看，首先爬取的页面是从上海的充电桩的信息，然后用 pyquery 来解析页面，得到了一个包含了所有充电桩信息的 items 列表。在循环中，解析了每个充电桩的名称和位置，并将它们分别放
- 2021-03-29 19:49回答 5 已采纳 之前解决了问题忘了写答案了，现在补上一下 解决思路就是通过使用一个已经打开了的浏览器，来避免知乎发现是使用的selenium模块 添加如下代码即可 option = ChromeOp
- 2022-12-26 21:12回答 2 已采纳 import requests from lxml import etree import re from selenium import webdriver import time import c
- 2022-10-11 19:55腿毛都能控的博客 【代码】Python爬虫数据JSON格式。
- 2022-12-24 13:06回答 2 已采纳 #这样可以拿到所有商品 for i in res.find_all('span',{'class':{'text'}}): d=i.text lst.append(d)
- 2021-03-29 11:59回答 4 已采纳 你打开浏览器的控制台看下页面是不是有问题。而且这个页面的内容，并不是一次性请求过来的。你需要的内容，应该是https://www.zhihu.com/api/v4/search_v3?t=genera
- 2021-03-30 16:03回答 1 已采纳 PROXY = '"'+get_ip()+'"'这样写的是错的应该写成PROXY = get_ip()，因为get_ip（）返回的已经是字符串。
- 2022-10-22 07:00艾派森的博客 本次的7个python爬虫小案例涉及到了re正则、xpath、beautiful soup、selenium等知识点，非常适合刚入门python爬虫的小伙伴参考学习。
- 2021-03-28 21:42回答 2 已采纳 代码中主要问题，第二个browser虽然设置了代理，但是没有传入cookie。可将选项放在浏览器初始化中设置。
- 2022-01-27 16:09回答 2 已采纳 第一题:A
- 2023-01-20 19:50回答 3 已采纳 driver.switch_to.window(driver.window_handles[1])这句代码，应该是-1才对（-1切换到最新打开的页面视角），你的视角没有切换成功。
- 2024-05-22 20:36在Python这一广泛使用的编程语言中，构建网络爬虫变得相对简单，尤其是借助于诸如`requests`和`BeautifulSoup`等强大的第三方库。 #### HTTP请求的基础 网络爬虫工作的第一步通常是向目标网站发送HTTP请求。HTTP...
- 2024-07-12 17:01.房东的猫的博客 简要描述一下Python爬虫的工作原理，并介绍几个常用的Python爬虫库。 Python爬虫的工作原理 发送请求：爬虫向目标网站发送HTTP请求，通常使用GET请求来获取网页内容。 解析响应：接收并解析HTTP响应，提取出有用的...
- 2022-03-23 14:30在这个项目中，我们专注于使用Selenium实现中英互译功能，这对于处理网页上的多语言内容非常有用。 首先，该项目提供了两种版本的翻译器：一个可执行的exe文件和一个Python源代码文件（translater.exe和translater....
- 2021-09-11 10:20Python是一种广泛使用的编程语言，特别适合进行网络爬虫开发。在这个项目中，开发者选择了两个强大的库——Selenium和BeautifulSoup。 Selenium是一个自动化测试工具，但在这里它被用来模拟真实用户的行为，比如...
- 没有解决我的问题, 去提问
问题事件
创建了问题
12月7日
悬赏问题
- ¥15 有两个非常“自以为是”烦人的问题急期待大家解决！
- ¥30 STM32 INMP441无法读取数据
- ¥100 求汇川机器人IRCB300控制器和示教器同版本升级固件文件升级包
- ¥15 用visualstudio2022创建vue项目后无法启动
- ¥15 x趋于0时tanx-sinx极限可以拆开算吗
- ¥15 pyqt信号槽连接写法
- ¥500 把面具戴到人脸上，请大家贡献智慧，别用大模型回答，大模型的答案没啥用
- ¥15 任意一个散点图自己下载其js脚本文件并做成独立的案例页面，不要作在线的，要离线状态。
- ¥15 各位 帮我看看如何写代码，打出来的图形要和如下图呈现的一样，急
- ¥30 c#打开word开启修订并实时显示批注