爬虫过程获取的URL打不开，使用requests库解析不出来网页源码，报错出现弹窗，并会被重定向到首页解析不到页面
4条回答 默认 最新
- 2021-09-08 19:39回答 3 已采纳 目前来看，账号反爬没有什么太好的应对措施。一旦你的账号确定被反爬了，就只能更换账号了，或者和网站客服沟通。对于账号反爬网站，一般来说，就是ip代理池和账号随机混用，还需要保证ip的质量，地域差异不要太
- 2022-07-12 00:50回答 2 已采纳 不是你爬到的是个静态的html页但是人家的html页其实是动态的，是需要执行js然后修改上面的值的
- 2022-08-17 17:07回答 3 已采纳 因为元素里的你要的内容是通过 ajax 请求动态加载的，可以浏览器抓包去看下，你想要的这条数据到底是哪个请求返回的，找到真正的请求，然后模拟发送就行了
- 2024-05-05 17:21### Python爬虫基础知识、爬虫实例与反爬机制知识点总结 #### 一、引言 在当前的大数据时代背景下，互联网已经成为人们获取信息的主要渠道之一。随着数据量的激增，如何有效地收集并利用这些数据成为了企业和个人...
- 2021-06-17 22:05回答 3 已采纳 我并没有用过python,有用过php的curl,也有用过c语言的curl. 推荐学习c语言的curl(并不用写c代码 ,只是通过c语言的curl 学习抓取网页所需用到的参数). 相关文章可以参考下
- 2022-08-22 11:35回答 3 已采纳
- 2022-06-24 19:43回答 1 已采纳 其实有的，但是这个网站应该是为了懒加载把url用base64密了一下，然后再动态加载， 其实我下面发的这个就是url 是base64后的url 解码后就是https://s1.aigei.com/
- 2024-04-29 15:26Python爬虫是编程领域中一个热门的话题，尤其对于数据挖掘和数据分析来说，它扮演着至关重要的角色。Python语言因其简洁明了的语法和丰富的库支持，成为开发爬虫的首选工具。下面我们将深入探讨Python爬虫的基础知识...
- 2022-11-15 23:10回答 1 已采纳 可以查看请求目标地址头的时候，是否有加密参数这一点很重要
- 2022-06-12 23:13回答 1 已采纳 except后面可以加 e，然后打印e。类似 except Exception as e: print("未知异常：%s" % e) 另外，你这样创建启动进程，似乎有点多。最
- 2022-10-21 12:35回答 2 已采纳 可以看下xpath语法，还有个插件（xPath Finder）在firefox浏览器里可以一键定位到 元素并复制xpath路径，如果插件给出的xpath路径定位不到，可以尝试自己写相对路径
- 2024-05-25 09:43### Python爬虫基础知识详解 #### 一、爬虫基本流程 1. **发送请求**：爬虫的第一步是向目标网站发送HTTP请求。这可以通过多种方式实现，最常见的是使用`requests`库。例如，我们可以这样发送一个GET请求来获取...
- 2021-12-22 17:33回答 1 已采纳 你这个是VPN代理问题，你可以将VPN设置成部分代理，不要全部代理你的网络。
- 2024-07-12 15:03### Python 爬虫知识点详解 #### 一、Python 爬虫基本概念与应用场景 1. **爬虫（Crawler）**： - 定义：爬虫是一种能够自动访问互联网并从中提取所需信息的程序。 - 特点：能够按照预定规则或策略自动抓取网页...
- 2023-12-02 19:00只存在于虚拟的King的博客 一、常见反爬机制及其破解方式 二、调用三方API接口数据（天行数据） 三、OCR（光学文字识别）库 四、第三方打码平台（超级鹰打码平台） 五、通过接码平台接收手机验证码(隐私短信平台) 仅提供参考思路，网站在不断...
- 没有解决我的问题, 去提问
问题事件
创建了问题
10月13日
悬赏问题
- ¥15 Opencv（C++）异常
- ¥15 VScode上配置C语言环境
- ¥15 汇编语言没有主程序吗？
- ¥15 这个函数为什么会爆内存
- ¥15 无法装系统，grub成了顽固拦路虎
- ¥15 springboot aop 应用启动异常
- ¥15 matlab有关债券凸性久期的代码
- ¥15 lvgl v8.2定时器提前到来
- ¥15 qtcp 发送数据时偶尔会遇到发送数据失败？用的MSVC编译器(标签-qt|关键词-tcp)
- ¥15 cam_lidar_calibration报错