python webdriver爬虫如何处理json
用request模块请求会返回403，加了请求头还是一样的，这种情况用webdriver吗？但是我不知道怎么获得data
https://www.coollpet.com/api/comment-list?show_product=1&star_least=4&with_photo=1&limit=100
这个是请求的链接，或许有大佬知道怎么解决这个网站禁止访问的问题吗
python webdriver爬虫如何处理json
用request模块请求会返回403，加了请求头还是一样的，这种情况用webdriver吗？但是我不知道怎么获得data
https://www.coollpet.com/api/comment-list?show_product=1&star_least=4&with_photo=1&limit=100
这个是请求的链接，或许有大佬知道怎么解决这个网站禁止访问的问题吗
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答 默认 最新
- 2022-12-24 18:48回答 1 已采纳 从你提供的代码来看，首先爬取的页面是从上海的充电桩的信息，然后用 pyquery 来解析页面，得到了一个包含了所有充电桩信息的 items 列表。在循环中，解析了每个充电桩的名称和位置，并将它们分别放
- 2021-03-29 19:49回答 5 已采纳 之前解决了问题忘了写答案了，现在补上一下 解决思路就是通过使用一个已经打开了的浏览器，来避免知乎发现是使用的selenium模块 添加如下代码即可 option = ChromeOp
- 2022-12-24 13:06回答 2 已采纳 #这样可以拿到所有商品 for i in res.find_all('span',{'class':{'text'}}): d=i.text lst.append(d)
- 2022-10-11 19:55弈码电子的博客 【代码】Python爬虫数据JSON格式。
- 2022-12-26 21:12回答 2 已采纳 import requests from lxml import etree import re from selenium import webdriver import time import c
- 2021-03-29 11:59回答 4 已采纳 你打开浏览器的控制台看下页面是不是有问题。而且这个页面的内容，并不是一次性请求过来的。你需要的内容，应该是https://www.zhihu.com/api/v4/search_v3?t=genera
- 2021-03-30 16:03回答 1 已采纳 PROXY = '"'+get_ip()+'"'这样写的是错的应该写成PROXY = get_ip()，因为get_ip（）返回的已经是字符串。
- 2022-10-22 07:00艾派森的博客 本次的7个python爬虫小案例涉及到了re正则、xpath、beautiful soup、selenium等知识点，非常适合刚入门python爬虫的小伙伴参考学习。
- 2021-03-28 21:42回答 2 已采纳 代码中主要问题，第二个browser虽然设置了代理，但是没有传入cookie。可将选项放在浏览器初始化中设置。
- 2022-01-27 16:09回答 2 已采纳 第一题:A
- 2023-01-20 19:50回答 3 已采纳 driver.switch_to.window(driver.window_handles[1])这句代码，应该是-1才对（-1切换到最新打开的页面视角），你的视角没有切换成功。
- 2021-09-11 10:20Python是一种广泛使用的编程语言，特别适合进行网络爬虫开发。在这个项目中，开发者选择了两个强大的库——Selenium和BeautifulSoup。 Selenium是一个自动化测试工具，但在这里它被用来模拟真实用户的行为，比如...
- 2023-06-13 16:50TTTALK的博客 python爬虫资源抓取--urllib/requests/requests-html、正则表达式、数据解析-Beautiful Soup/lxml/selectolax、自动化爬虫--selenium、爬虫框架--Scrapy/pyspider、模拟登录与验证码识别、autoscraper
- 2024-01-19 17:01爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的...
- 2023-06-27 18:59Eric，会点编程的博客 本篇博客将继续探讨一些挑战性的爬虫编程题目，并举例其他常见的爬虫应用，以帮助读者在实战中提升爬虫技能。题目二：登录认证爬取 要求：编写一个爬虫程序，模拟登录认证并爬取需要登录才能访问的页面。其他常见的...
- 没有解决我的问题, 去提问
问题事件
创建了问题
12月7日
悬赏问题
- ¥15 Delphi 关于sAlphaImageList使用问题
- ¥15 寻找将CAJ格式文档转txt文本的方案
- ¥20 数电设计提问求帮助，出租车计费器
- ¥15 shein测试开发会问些啥我是写java的
- ¥15 关于#单片机#的问题：我有个课程项目设计，我想在STM32F103veTX单片机，M3主控模块上设计一个程序，在Keil uVision5（C语言）上代码该怎么编译？（嫌钱少我可以加钱，急急急）
- ¥15 opnet仿真网络协议遇到问题
- ¥15 在安装python的机器学习程序包scikit-learn（1.1版本）时遇到如下问题
- ¥15 要用 STM8L050J3M3TR 输出1路PWM 没有输出 不知道是不是 复用IO需要配置还是 定时器初始化的问题
- ¥15 Qt交叉编译代码后用得到的qmake来构建程序，无法找到designer模块
- ¥20 基于C++的最佳配比