从网络预览可以看到，内容应该是一个列表，使用标头里的请求网址之后，返还的却是一个网页源码，这是为什么呢？
Python爬虫requests反还内容与网页内容不相同
从网络预览可以看到，内容应该是一个列表，使用标头里的请求网址之后，返还的却是一个网页源码，这是为什么呢？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
4条回答 默认 最新
关注看一下网页里内容是啥，无关内容就是被反爬了，因为这是ajax请求，你直接抓报请求，header头部可能会反爬，有时还要加cookie，referer，csrf等
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2022-03-08 22:50回答 2 已采纳 requests.get得到的是源代码，ajax动态加载或者js动态生成的html代码获取不到，需要直接请求接口获取数据或者从源代码中找到js数据源进行解析。截图中右边块的数据接口为下面这个，直接re
- 2021-11-27 19:16回答 2 已采纳 该页面数据是动态加载的，需要用此链接用post请求去获取https://www.xuetangx.com/api/v1/lms/get_product_list/?page=1
- 2022-09-24 23:49回答 1 已采纳 http协议都没加
- 2023-05-23 00:54两万字博文教你python爬虫requests库【详解篇】.pdf 两万字博文教你python爬虫requests库【详解篇】.pdf 两万字博文教你python爬虫requests库【详解篇】.pdf 两万字博文教你python爬虫requests库【详解篇】.pdf 两万...
- 2021-03-29 11:19回答 3 已采纳 异步加载的问题, 可以使用selenium 工具包进行爬取, 可参考: import pandas as pd import numpy as np import time from seleni
- 2022-06-24 19:43回答 1 已采纳 其实有的，但是这个网站应该是为了懒加载把url用base64密了一下，然后再动态加载， 其实我下面发的这个就是url 是base64后的url 解码后就是https://s1.aigei.com/
- 2021-10-31 23:19回答 1 已采纳 beautifulsoup是爬静态网页的，应该是有些内容属于动态，可以尝试selenium
- 2020-09-17 18:01主要介绍了python爬虫开发之使用python爬虫库requests，urllib与今日头条搜索功能爬取搜索内容实例,需要的朋友可以参考下
- 2023-03-06 21:55回答 3 已采纳 curr_url 没有获取到数据，提交了一个None，结果访问的地址就是 http://None了
- 2020-12-25 10:40回答 3 已采纳 res = requests.post(url,headers=headers,json=payload)
- 2023-03-01 15:21回答 2 已采纳 你访问的这个接口就只有五千多条数据，您可以在返回的数据中看到，你可以把获取到的数据输出下resp.json()：totalCount': 5860, 'totalPages': 59因此，如果要爬取更
- 2020-09-18 01:18上一节我们给大家介绍了Python爬虫库requests的发送请求传参等使用方法，今天为大家介绍下requests获取响应内容、响应状态码、响应头等相关信息
- 2021-01-19 23:21现在requests库的作者又发布了一个新库，叫做requests-html，看名字也能猜出来，这是一个解析HTML的库，具备requests的功能以外，还新增了一些更加强大的功能，用起来比requests更爽！接下来我们来介绍一下它吧。 #...
- 2023-10-16 10:43文件包含python爬虫requests实战的六个实用案例源代码，分别为： 01.requests第一血.py； 02.requests实战之网页采集器.py； 03.requests实战之破解百度翻译.py； 04.requests实战之豆瓣电影爬取.py； 05.requests...
- 2020-12-21 09:13聚焦爬虫：是面向特定需求的一种网络爬虫程序，他与通用爬虫的区别在于：聚焦爬虫在实施网页抓取的时候会对内容进行筛选和处理，尽量保证只抓取与需求相关的网页信息。 通用爬虫的局限性 通用搜索引擎所返回的网页...
- 没有解决我的问题, 去提问
问题事件
系统已结题
3月18日
已采纳回答
3月10日-
修改了问题
3月10日
-
创建了问题
3月9日
悬赏问题
- ¥20 完全没有学习过GAN，看了CSDN的一篇文章，里面有代码但是完全不知道如何操作
- ¥15 使用ue5插件narrative时如何切换关卡也保存叙事任务记录
- ¥20 软件测试决策法疑问求解答
- ¥15 win11 23H2删除推荐的项目，支持注册表等
- ¥15 matlab 用yalmip搭建模型，cplex求解，线性化处理的方法
- ¥15 qt6.6.3 基于百度云的语音识别 不会改
- ¥15 关于#目标检测#的问题：大概就是类似后台自动检测某下架商品的库存，在他监测到该商品上架并且可以购买的瞬间点击立即购买下单
- ¥15 神经网络怎么把隐含层变量融合到损失函数中？
- ¥15 lingo18勾选global solver求解使用的算法
- ¥15 全部备份安卓app数据包括密码，可以复制到另一手机上运行