爬取网站 构造请求有几个数据不知道怎么获取? 10C

网站为中国证券网 “http://www.cnstock.com/”
使用jsonp
图片说明

图片说明
访问这个传递json数据的Request URL时,出现了404
图片说明
想请教一下如何解决

0

3个回答

用抓包工具对照下,你这个返回了404是返回的json里的数据里面有一个404,而不是http返回了404的状态,可能是服务器判定你的请求不合法,丢失参数等,所以返回了一个错误信息。

可能的原因除了参数不合法,对照抓包数据检查
(1)referer字段
(2)cookie
(3)是否不允许get,需要post
(4)是否频繁访问,导致服务器有反爬虫的限制,换ip再试

0
kingtigerhuhu
kingtigerhuhu 名字是_的参数 好像是时间戳 一直在变
7 个月之前 回复
kingtigerhuhu
kingtigerhuhu 直接输入url得到的404页面 请求的参数和异步加载的参数是一样的
7 个月之前 回复
caozhy
贵阳挖掘机马善福,自备车辆专业挖游泳池 回复kingtigerhuhu: 先对照浏览器找不同
7 个月之前 回复
kingtigerhuhu
kingtigerhuhu 那个code为404的网页返回的msg为非法访问源,是要通过模拟浏览器请求吗?
7 个月之前 回复

这个请求是get请求,这个简单,看一下你请求的网页,把请求头headers加上就行了。图片说明

0
0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
post请求网站数据爬取!!!Python学习笔记!
对于刚开始学习Python的童鞋来说,对于网站的爬取可能很模糊,对网站的请求方式也不太了解。下面先简单介绍一下几种常见的网站请求方式,get、post
Python爬取网站数据
编码问题 因为涉及到中文,所以必然地涉及到了编码的问题,这一次借这个机会算是彻底搞清楚了。 问题要从文字的编码讲起。原本的英文编码只有0~255,刚好是8位1个字节。为了表示各种不同的语言,自然要进行扩充。中文的话有GB系列。可能还听说过Unicode和UTF-8,那么,它们之间是什么关系呢? Unicode是一种编码方案,又称万国码,可见其包含之广。但是具体存储到计算机上,并不用这种编码,...
C#爬取网站数据
C#爬数据,抓取别的网站上的数据,使用在自己的网站上!
python爬取网站数据
''' 抓取网络数据 ''' import re,requests #创建网络请求 response=requests.get('http://www.csdn.net') #设定网络请求返回内容的字符集类型 response.encoding='utf8' #网页源码 text=response.text #解析网络图片路径 def geturl(url): a=re.findall...
小爬虫(爬取网站的数据)
这是一个小型爬虫 可以帮助大家更好的理解什么是爬虫 爬虫可以用来做什么
翻译网站数据爬取
翻译网站数据爬取
POST请求爬取数据实战
该视频教程主要讲解Python爬虫技术原理,与爬虫基础技术。Python爬虫入门+浏览器伪装与验证码识别。rn
GET请求爬取数据实战
本周课程主要讲解Python网络爬虫的基础内容。具体有:Python中的正则表达式,网络爬虫基础介绍,爬虫的工作原理,urllib、urllib3和requests库的使用,GET和POST请求抓取数据实战,网络爬虫中常见错误的处理,以及网页信息解析库的使用(Xpath,BeautifulSoup,PyQuery)。
数据爬取有问题
# coding:gbkimport requestsfrom lxml import htmlfrom bs4 import BeautifulSoupimport osimport time#爬取风景图def header(referer): headers = { 'Host': 'i.meizitu.net', 'Pragma': 'no-cache', ...
怎么构造post请求啊?
用fidder抓到QQ空间留言的post。rn路径是这样的rnhttp://m.qzone.qq.com/cgi-bin/new/add_msgb?g_tk=1387423682rnpost的是这样的rnqzreferrer=http%3A%2F%2Fcnc.qzs.qq.com%2Fqzone%2Fmsgboard%2Fmsgbcanvas.html%23page%3D1&content=123zf&hostUin=38017032&uin=38017032&format=fs&iNotice=1&inCharset=gbk&outCharset=gbk&ref=qzone&json=1&g_tk=1387423682rnrn怎么构造一个完整的,直接输入到浏览器就可以留言啊rn
几个数据网站
http://www.netflixprize.com/index http://aws.amazon.com/publicdatasets http://boston.lti.cs.cmu.edu/Data/clueweb09
几个有代码的网站
https://pytorch.org/
python爬虫 爬取网站数据
2019独角兽企业重金招聘Python工程师标准>>> ...
[Python]网站数据爬取任务
Python爬虫作业:网站数据爬取任务 从以下网址(包括但不限于下列网络或应用)中爬取数据,以核实的形式存储数据,并进行分析(不一定是计算机角度的分析,可写分析报告),或制作词云图。 一、文本数据 酷狗榜单: https://www.kugou.com/yy/html/rank.html 百度百科:查城市,查人,查知识。 二、表格类数据 天气后报: 某城市的历史数据 http://www....
有几个错误。不知道怎么改。
[code=C/C++][/code]rn#include rnusing namespace std;rnenum objectType Rock, Paper, Scissors;rnvoid displayRules();rnobjectType retrievePlay(char selection);rnbool validSelection(char selection);rnvoid convertEnum(objectType object);rnobjectType winningObject(objectType play1, objectType play2);rnvoid gameResult(objectType play1, objectType play2, int& winner);rnvoid displayResults(int gCount, int wCount1, int wCount2);rnrnint main()rnrn int gameCount;rn int winCount1;rn int winCount2;rn int gamewinner;rn char response;rn char selection1;rn char selection2;rn objectType play1;rn objectType play2;rn gameCount = 0;rn winCount1 = 0;rn winCount2 = 0;rn displayRules();rn cout<<"Enter Y/y to play the game: ";rn cin>>response;rn cout<>selection1;rn cout<>selection2;rn cout<>response;rn cout<
python27爬取51job网站数据
# -*- coding:utf-8 -*- import re import chardet import xlwt import urllib2 import random import json #设计一个函数,只用来获取网页内容 count = 0 def getHtml(url): USER_AGENTS = [ &quot;Mozilla/5.0 (Windows NT...
Express + Node 爬取网站数据
前言 因为自己写的demo需要历史天气的统计数据,但是国内很难找到免费的api接口,很多都需要付费和审核。而国外的网站虽然免费但需要提前知道观测站,城市id等信息。所以就有了这么一篇文章的诞生。 准备工作 库 作用 superagent 发送请求 superagent-charset 设置请求的编码 cheerio 让解析htm...
requests简单爬取网站数据
用requests爬取数据 import requests,json def renren(url,headers): response=requests.get(url,headers=headers) res_text=response.text with open(‘renren...
C#爬取某网站数据
为某公司写的爬取某网站的资源的C#代码。其中有我写的解析html的库,几乎能提取全所有有效信息
爬取需要登录的网站数据
爬去某大学某学生的课程表 先查看该网站的request方法和数据表单 request方法是get 表单头为u和p import urllib.request import http.cookiejar import urllib.parse from urllib.request import urlopenurl=&quot;https://gsdb.bjtu.edu.cn/client/log
php curl 爬取网站数据
php curl 爬取网站数据 转载:http://vohyo.com/blog/view/4dae71f795248a52/ 今天帮一朋友爬取一网站数据,涉及到PHP CURL模块的使用。总结一下整个过程思路: 1.保证curl扩展模块可用,如不可用,请在php.ini配置中打开php_curl.dll扩展; 2.初始化curl对象,并配置curl的参数: $ch = cur...
python27爬取天猫网站数据
# -*- coding:utf-8 -*- import re import xlwt import urllib2 import random import json #设计一个函数,只用来获取网页内容 count = 0 def getHtml(url): USER_AGENTS = [ &quot;Mozilla/5.0 (Windows NT 6.1; WOW64) App...
python爬取aqistudy网站数据
`# /home/share/user/liaoqi/anaconda3/bin/python3.6 `# Project: Local `# Author: ljh `# Create time: 2019-05-09 18:08 import time from selenium import webdriver import pandas as pd from concurrent.futu...
C#怎么获取一个月有几个周
C#怎么获取一个月有几个周,都分别是哪几个周.请帮忙啊!rn比如说;10月,然后获取10月有多少个周,都分别是哪几个周(例如:40,41,42,43)rn谢谢
aspx网站数据爬取(政务网站)
aspx网站数据爬取(政务大数据) aspx网站数据爬取,python爬取ASPX网站,记一次政务数据获取,需要根据浏览器查自己的cookie才可用,cookie没有附上:     由于工作需要政务数据,恰巧爬取aspx网站,因此总结一下。需要根据浏览器查自己的cookie才可用,cookie没有附上:   github项目地在: https://github.com/yongzhuo/...
获取post请求的数据
通常从http post请求获取数据的方法如下: 1.request.getInputStream() 2.request.getReader() 3.request.getParameterMap()系列 4.通过spring框架中的RequestBody或RequestParam public static String req2RawString(HttpSer
数据不知道怎么列
数据裤里数据rnkkkk 1.2 2.5 3.4 2.15 2003-2-23 11:40:35rnkkkk 1.2 2.8 1.2 1.35 2003-2-23 11:50:05rnkkkk 1.7 2.8 1.2 1.35 2003-2-23 13:08:02rnkkkk 1.7 2.8 1.35 1.35 2003-2-23 13:23:56rnrnjjjj 2.56 3.25 1.25 1.25 2003-2-23 10:23:56rnjjjj 2.56 3.15 1.35 1.25 2003-2-23 12:05:50rnjjjj 1.85 3.25 1.35 1.25 2003-2-23 13:35:06rnrn有很多这样的数据,现在我只要查询出kkkk的最新条然后再jjjj最新那条,怎么列呀
有个嵌套循环构造数组不知道怎么写,求助,谢谢。
如果数组有5列,有3行,其中的数据主要是3,1,0构成。如下:rnf1 f2 f3 f4 f5rn3 3 0 3 3rn1 3 1 3 0rn3 0 0 1 0rn要求产生另一个数组,但是只能每行有1个数与原来的数组不同: rnf1 f2 f3 f4 f5rn1 3 0 3 3(只有一个不同,与第一行第一列不同,原值为3,新值为1)rn0 3 0 3 3(只有一个不同,与第一行第一列不同,原值为3,新值为0)rn3 1 0 3 3(只有一个不同,与第一行第二列不同,原值为3,新值为1)rn3 0 0 3 3rn3 3 3 3 3rn3 3 1 3 3rn3 3 0 1 3rn3 3 0 0 3rn3 3 0 3 1rn3 3 0 3 0(只有一个不同,与第一行第5列不同,原值为3,新值为0)rn第一行构造结束,共有2*5=10种结果,加上2,3行共2*5*3=30行。rn构造与原数组2,3行不同的的值.....rn问1、这个数组怎么构造?rn2、如果列有14列,行有1000行怎么实现?rn3、如果新数组每一行有2、3、4个值与原数组不同,算法怎么写?
有关于正则表达式获取网站数据的问题
rn 我想获取http://zst.starlott.com/ssc/wxjb.html的开奖号码rnrn 请问怎么办 我在网上查了一下 所需要正则表达式来 做 我不懂正则表达式rnrnrn 希望高手能帮忙一下 最好能把代码贴出来 谢谢
获取网站响应时间的几个方法
获取网站响应时间的方法。(原创作品,转载请务必标明文章原始出处:http://xuclv.blog.51cto.com/5503169/1300219)1:httping 简介: httping是个类ping的针对http request的工具。传递给它一个URL,它会告诉你需要多长时间来连接,发送请求,以及响应的时间等等。其可相当于web服务器的延迟+网络的延迟。详情:ht...
哪位知道怎么获取其他网站的数据???
怎么样在我的页面中调用其他网站的数据?rnrn例如天气预报!rnrn谢谢
asp怎么获取彩票网站开奖数据
asp怎么获取彩票网站开奖数据rn就是我在我的网站上同步时时彩网站上的开奖号码,但是我不可能期期手工输入,求代码rn重庆时时彩开奖号码http://video.shishicai.cn/cqssc/
python爬取动态网页 换页不知道怎么换
例如 http://vip.stock.finance.sina.com.cn/mkt/#cyb_root这个新浪下的股票数据,我爬虫一般只能爬到第一页的数据,再换页的话url不会变,请问在python爬虫过程怎么处理这种情况,我想获取全部数据,换页不知道怎么处理,求教各路大神
几个有趣的网站(不知道的可以反思了...)
淘宝UED :          http://ued.taobao.com/blog/   月光博客 :          http://www.williamlong.info/ 互联网的那点事 : http://www.alibuybuy.com/ 36氪 :               http://www.36kr.com/ InfoQ:         ...
网站构造
网站结构 包含:&quot;物理结构&quot;和&quot;逻辑结构优化&quot;两部分。 物理结构优化 网站物理结构指的是网站目录及所包含文件所存储的真实位置所表现出来的结构,物理结构一般包含两种不同的表现形式:扁平式物理结构和树形物理结构。 对于小型网站来说,所有网页都存放在网站根目录下,这种结构就是扁平式物理结构。采用扁平式物理结构的网站。 这种扁平式物理结构对搜索引擎而言是最为理想的,因为只要一次访问即可遍历所有页面。但是,...
爬取携程和蚂蜂窝的景点评论数据\携程评论数据爬取\旅游网站数据爬取
本人长期出售超大量微博数据、旅游网站评论数据,并提供各种指定数据爬取服务,Message to YuboonaZhang@Yahoo.com。同时欢迎加入社交媒体数据交流群:99918768 前言   为了获取多源数据需要到各个网站获取一些景点的评论信息和图片,首先选到了携程和蚂蜂窝这两个网站,将一些爬取过程记录下来 携程 分析数据   首先我们去携程的鼓浪屿景点速览看一下我...
网站爬取
网站爬取
Python爬取get请求的页面数据
一.urllib库 urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse,在Python2中是urllib和urllib2。 二.由易到难的爬虫程序: 1.爬取百度首页面所有数据值 补充说明 urlopen函数原型:urllib.request.u...
scrapy 爬取数据时踩到的几个坑
1、将配置放在settings.py 中时,注意该脚本中配置会被使用pickle 进行持久化操作,因此,如使用redis,不要在此处进行如 rdb = redis.Redis(db=0 此类操作,可以放到执行脚本中 2、使用CrawlerProcess 进行替代scrapy crawl CrawlerName 时,对 CrawlerProcess 进行实例化时,不要放到函数中去,可以作为全局变量,...
第一次使用API爬取数据之几个坑
第一次使用API爬取数据之几个坑 第一次使用网站自带api爬取相关数据,跟着网上教程爬取豆瓣网top20电影,第一步很顺利。 import urllib.request as request import json url = 'https://api.douban.com/v2/movie/top250' crawl_content = request.urlopen(url).read() t...