从网络预览可以看到，内容应该是一个列表，使用标头里的请求网址之后，返还的却是一个网页源码，这是为什么呢？
Python爬虫requests反还内容与网页内容不相同
从网络预览可以看到，内容应该是一个列表，使用标头里的请求网址之后，返还的却是一个网页源码，这是为什么呢？
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
4条回答 默认 最新
关注看一下网页里内容是啥，无关内容就是被反爬了，因为这是ajax请求，你直接抓报请求，header头部可能会反爬，有时还要加cookie，referer，csrf等
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2022-03-08 22:50回答 2 已采纳 requests.get得到的是源代码，ajax动态加载或者js动态生成的html代码获取不到，需要直接请求接口获取数据或者从源代码中找到js数据源进行解析。截图中右边块的数据接口为下面这个，直接re
- 2022-09-24 23:49回答 1 已采纳 http协议都没加
- 2021-11-27 19:16回答 2 已采纳 该页面数据是动态加载的，需要用此链接用post请求去获取https://www.xuetangx.com/api/v1/lms/get_product_list/?page=1
- 2024-11-18 00:55内容概要：本文介绍了一个用 Python 实现的爬虫实例，主要分为环境准备、编写基本爬虫代码、高级爬虫（如模拟登录）三个部分。文章详细讲解了如何利用 requests 和 BeautifulSoup4 库进行网页请求与HTML解析，提取所...
- 2021-03-29 11:19回答 3 已采纳 异步加载的问题, 可以使用selenium 工具包进行爬取, 可参考: import pandas as pd import numpy as np import time from seleni
- 2020-12-25 10:40回答 3 已采纳 res = requests.post(url,headers=headers,json=payload)
- 2022-06-24 19:43回答 1 已采纳 其实有的，但是这个网站应该是为了懒加载把url用base64密了一下，然后再动态加载， 其实我下面发的这个就是url 是base64后的url 解码后就是https://s1.aigei.com/
- 2024-12-20 20:51网络爬虫是一种自动化程序，用于从互联网上抓取、分析和提取数据。它能够模拟浏览器行为，按照设定的规则自动浏览网页并抓取所需信息。...发送请求使用requests库向目标网站发送HTTP请求，获取页面内容。
- 2021-10-31 23:19回答 1 已采纳 beautifulsoup是爬静态网页的，应该是有些内容属于动态，可以尝试selenium
- 2023-03-06 21:55回答 3 已采纳 curr_url 没有获取到数据，提交了一个None，结果访问的地址就是 http://None了
- 2023-03-01 15:21回答 2 已采纳 你访问的这个接口就只有五千多条数据，您可以在返回的数据中看到，你可以把获取到的数据输出下resp.json()：totalCount': 5860, 'totalPages': 59因此，如果要爬取更
- 2020-12-22 19:08奇怪的同一个网站同一个榜单，只是页数不同，前若干页能爬取，后若干页就爬取不了，一度怀疑是不允许爬。 最后终于发现原因！ 因为Cookie找错了（kao！！！！！） 注意要用这里的cookie！ （下图是Chrome的开发者...
- 2024-07-07 02:31Python 爬虫，通常被称为 Python Spider 或 Python Web Scraper，是一种使用 Python 编程语言编写的自动化脚本或程序，用于从互联网上的网站提取信息。这种程序可以访问网页，解析页面内容，并从中提取出有用的数据...
- 2024-07-10 14:09编程让世界美好的博客 使用requests库，你可以轻松地发送...以上只是requests库的一小部分功能，它还提供了许多其他高级功能和选项，例如会话管理、认证、代理设置等，可以帮助你轻松地进行网络爬虫和API调用。可以看到User-Agent和Cookie。
- 2020-11-20 20:55weixin_39705065的博客 原博文2020-06-14 19:28 −爬取数据时，有时候会出现无法通过正常的requests请求获取网页内容，导致数据无法抓取到，遇到这种情况时，可以换种思路去爬取数据，使用PhantomJS，即爬虫终极解决方案去获取页面元素。...
- 没有解决我的问题, 去提问
问题事件
系统已结题
3月18日
已采纳回答
3月10日-
修改了问题
3月10日
-
创建了问题
3月9日
悬赏问题
- ¥15 宇视监控服务器无法登录
- ¥15 PADS Logic 原理图
- ¥15 PADS Logic 图标
- ¥15 电脑和power bi环境都是英文如何将日期层次结构转换成英文
- ¥15 DruidDataSource一直closing
- ¥20 气象站点数据求取中~
- ¥15 如何获取APP内弹出的网址链接
- ¥15 wifi 图标不见了 不知道怎么办 上不了网 变成小地球了
- ¥50 STM32单片机传感器读取错误
- ¥50 power BI 从Mysql服务器导入数据，但连接进去后显示表无数据