使用webmagic_selenium爬取动态页面，添加cookie报错，说是cookie域不一致，然后我给每个cookie加了一个domain没有报错但是没有爬取到所需页面
0条回答 默认 最新
- 2021-08-24 11:18回答 2 已采纳 你就模拟请求你点的这个接口啊
- 2022-04-07 23:14回答 1 已采纳 抛弃selenium可以大大加快速度。动态渲染的js翻译成py代码，如果有复杂逻辑的代码，人工解这段代码，解不了还有exejs，pydom这些库直接跑借助cython可以大大加快你的速度，在py中异步
- 2021-04-06 16:22回答 6 已采纳 可以先用webdriver获取动态更新后的html代码，再交给BeautifulSoup处理。 from selenium import webdriver from bs4 import Bea
- 2023-05-26 13:11假正经的小柴的博客 简单易用的工具——HtmlUnit，它可以模拟浏览器的行为，支持JavaScript解析和执行，可以用于解析动态页面。但它解析JavaScript的时候也是比较慢的，但后续用 WebMagic 去处理静态页面就快起来了。就比如说处理某网站...
- 2022-04-17 18:40回答 2 已采纳 你这个网页中的内容通过 js代码读取外部json数据来动态更新的。可以通过F12控制台分析页面数据加载的链接，找到真正json数据的地址进行爬取。 或者参考selenium滚动到页面底部的几种解决方案
- 2018-04-10 08:23回答 3 已采纳 https://blog.csdn.net/a812919698/article/details/52243080
- 2021-10-21 15:16回答 1 已采纳 该页面信息通过用户选择选项，js动态渲染加载数据的，比如在选项框中输入name,在XHR中就可以看到name的动态加载链接，对其进行请求可获取相关信息的json数据信息。
- 2022-09-20 23:31never debug的博客 文章目录前言一、Selenium是什么？二、Selenium常见的API1.Selenium定位的...使用Selenium实现爬虫最大的好处在于能够模拟一个用户正常访问页面，网站后台不容易检测出来，而且使用简单，可以使用java或python等多种
- 2022-05-11 11:09回答 2 已采纳 二维码一般和cookie信息相关，识别完二维码信息发送到接口需要附带上采集二维码时的得到的cookie请求头
- 2021-10-24 09:44回答 1 已采纳 爬取内容不完整，应该是文档的更多内容，要往下滑动页面才会出现这个不太清楚，应该不是什么反爬，就是类似于中途给你弹出个广告，要具体分析怎么弄VIP内容肯定是需要你的账号是VIP才能看得到的，与selen
- 2018-03-18 06:59回答 2 已采纳 这个网站有多一层东西，你可以这么干。 先请求http://www.lzggzyjy.cn/InfoPage/InfoList.aspx?SiteItem=8 然后用正则找到 然后请求这个/aja
- 2023-05-24 13:49假正经的小柴的博客 WebMagic仅能解析静态页面，如果需要爬取JavaScript被解析后的页面，我们可以试着用Selenium+ChromeDriver去实现。
- 2020-12-29 10:53回答 2 已采纳 把所爬具体文章url存入文本，或仅存最后次url。下一次开始时先判断页面是否包含最后次url，即有存在列表中哪个位置。
- 2023-09-05 10:36苍煜的博客 Selenium可以爬取其他库难以爬取的网站，特别是那些需要登录或使用JavaScript的网站。Selenium可以自动地从Web页面中提取数据，例如价格、评论、评分等等。Selenium是一款非常实用的工具，可以帮助用户更好地利用Web...
- 2022-06-06 18:12软件测试大空翼的博客 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url...
- 没有解决我的问题, 去提问
