网站为中国证券网 “http://www.cnstock.com/”
使用jsonp
访问这个传递json数据的Request URL时，出现了404
想请教一下如何解决
爬取网站 构造请求有几个数据不知道怎么获取？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答 默认 最新
threenewbee 2019-01-28 22:57关注用抓包工具对照下，你这个返回了404是返回的json里的数据里面有一个404，而不是http返回了404的状态，可能是服务器判定你的请求不合法，丢失参数等，所以返回了一个错误信息。
可能的原因除了参数不合法，对照抓包数据检查
（1）referer字段
（2）cookie
（3）是否不允许get，需要post
（4）是否频繁访问，导致服务器有反爬虫的限制，换ip再试解决 无用评论 打赏举报 分享
- 2021-05-22 21:34回答 1 已采纳 这里我们以爬取淘宝评论为例子讲解一下如何去做到的。 这里主要分为了四步： 一 获取淘宝评论时，ajax请求链接（url） 二 获取该ajax请求返回的json数据 三 使用python解析js
- 2020-02-17 22:52回答 4 已采纳 爬取需要在请求头里面添加Host，要不然爬取不到任何信息，另外源码是不规则的html代码，所以需要指定html解析器 ``` # -*- coding：utf-8 -*- import os
- 2021-07-28 11:42回答 3 已采纳 我猜请求头里面一定有数据是动态变化的，并且要做验证，你得知道它是如何加密的那些数据~
- 2020-12-03 07:06weixin_39640085的博客 本文需要学习的地方,使用三种不同的方式爬取需要登录才能获取数据的网站数据POST 请求方法：需要在后台获取登录的 URL并填写请求体参数，然后 POST 请求登录，相对麻烦；添加 Cookies 方法：先登录将...
- 2021-11-11 11:15回答 1 已采纳 先确定需要爬取的网站，然后分析网站的数据来源，是后端生成数据还是ajax生成数据，确定数据来源方式就根据HTTP请求编写代码，这个涉及一些请求参数的加密、转换等等处理，然后清洗数据和数据入库
- 2021-11-27 11:36回答 3 已采纳 你爬虫应该是用requests发送http请求的吧，这个是无法从elements找到，你要在network的doc分析网页，你找不到的数据很大可能是ajax请求渲染前端的
- 2020-09-07 10:20回答 2 已采纳 首先 f12 抓包，看看 ajax 的 json 请求的实际地址是什么，然后用 r = requests.get(request_url) obj = r.json() print(obj.学
- 2021-08-11 21:57Polaris_T的博客 这是一篇介绍如何用Python实现简单爬取网页数据并导入MySQL中的数据库的文章。主要用到BeautifulSoup requests 和 pymysql。 以网页https://jbk.39.net/mxyy/jbzs/为例，假设我们要爬取的部分数据如下图所示...
- 2019-05-29 17:34回答 6 已采纳 是因为你给的数据不足够，我刚才打开你的网站试了一下。 # header中必须有以下数据 
悬赏问题
- ¥15 素材场景中光线烘焙后灯光失效
- ¥15 请教一下各位，为什么我这个没有实现模拟点击
- ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置
- ¥15 有没有研究水声通信方面的帮我改俩matlab代码
- ¥15 ubuntu子系统密码忘记
- ¥15 保护模式-系统加载-段寄存器