网站为中国证券网 “http://www.cnstock.com/”
使用jsonp
访问这个传递json数据的Request URL时，出现了404
想请教一下如何解决
爬取网站 构造请求有几个数据不知道怎么获取？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答
threenewbee 2019-01-28 22:57关注用抓包工具对照下，你这个返回了404是返回的json里的数据里面有一个404，而不是http返回了404的状态，可能是服务器判定你的请求不合法，丢失参数等，所以返回了一个错误信息。
可能的原因除了参数不合法，对照抓包数据检查
（1）referer字段
（2）cookie
（3）是否不允许get，需要post
（4）是否频繁访问，导致服务器有反爬虫的限制，换ip再试解决 无用评论 打赏举报 分享
- 2021-05-22 21:34回答 1 已采纳 这里我们以爬取淘宝评论为例子讲解一下如何去做到的。 这里主要分为了四步： 一 获取淘宝评论时，ajax请求链接（url） 二 获取该ajax请求返回的json数据 三 使用python解析js
- 2020-02-17 22:52回答 4 已采纳 爬取需要在请求头里面添加Host，要不然爬取不到任何信息，另外源码是不规则的html代码，所以需要指定html解析器 ``` # -*- coding：utf-8 -*- import os
- 2021-07-28 11:42回答 3 已采纳 我猜请求头里面一定有数据是动态变化的，并且要做验证，你得知道它是如何加密的那些数据~
- 2020-12-03 07:06weixin_39640085的博客 本文需要学习的地方,使用三种不同的方式爬取需要登录才能获取数据的网站数据POST 请求方法：需要在后台获取登录的 URL并填写请求体参数，然后 POST 请求登录，相对麻烦；添加 Cookies 方法：先登录将...
- 2021-11-11 11:15回答 1 已采纳 先确定需要爬取的网站，然后分析网站的数据来源，是后端生成数据还是ajax生成数据，确定数据来源方式就根据HTTP请求编写代码，这个涉及一些请求参数的加密、转换等等处理，然后清洗数据和数据入库
- 2021-11-27 11:36回答 3 已采纳 你爬虫应该是用requests发送http请求的吧，这个是无法从elements找到，你要在network的doc分析网页，你找不到的数据很大可能是ajax请求渲染前端的
- 2020-09-07 10:20回答 2 已采纳 首先 f12 抓包，看看 ajax 的 json 请求的实际地址是什么，然后用 r = requests.get(request_url) obj = r.json() print(obj.学
- 2021-08-11 21:57Polaris_T的博客 这是一篇介绍如何用Python实现简单爬取网页数据并导入MySQL中的数据库的文章。主要用到BeautifulSoup requests 和 pymysql。 以网页https://jbk.39.net/mxyy/jbzs/为例，假设我们要爬取的部分数据如下图所示...
- 2019-05-29 17:34回答 6 已采纳 是因为你给的数据不足够，我刚才打开你的网站试了一下。 # header中必须有以下数据 
悬赏问题
- ¥35 平滑拟合曲线该如何生成
- ¥100 c语言，请帮蒟蒻写一个题的范例作参考
- ¥15 名为“Product”的列已属于此 DataTable
- ¥15 安卓adb backup备份应用数据失败
- ¥15 eclipse运行项目时遇到的问题
- ¥15 关于#c##的问题：最近需要用CAT工具Trados进行一些开发
- ¥15 南大pa1 小游戏没有界面，并且报了如下错误，尝试过换显卡驱动，但是好像不行
- ¥15 没有证书，nginx怎么反向代理到只能接受https的公网网站
- ¥50 成都蓉城足球俱乐部小程序抢票
- ¥15 yolov7训练自己的数据集