python解析json格式数据时使用jsonpath无法取到值,返回false 5C

jQuery183026400820446366513_1535963936721(
{
"records":[
{
"id":"94406754893220",
"memberid":"",
"evaluationId":"0",
"name":"S***.",
"countryCode":"us",
"countryName":"",
"rank":
""
,
"buyerAccountPointLeval":"A1",
"price":"",
"quantity":"1",
"unit":"piece",
"lotNum":"1",
"option":"",
"star":"",
"date":"31 Aug 2018 23:30",
"buyerFeedback":"",
"supplierReply":"",
"buyerReply":"",
"canDigg":"0"

            }
                           ,
                                         {
                "id":"94059567015926",
                "memberid":"",
                "evaluationId":"0",
                "name":"H***.",
                                    "countryCode":"us",
                "countryName":"",
                "rank":
                                        ""
                                    ,
                "buyerAccountPointLeval":"A1",
                "price":"",
                "quantity":"1",
                "unit":"piece",
                "lotNum":"1",
                "option":"",
                "star":"",
                "date":"29 Aug 2018 22:32",
                "buyerFeedback":"",
                                    "supplierReply":"",
                                                        "buyerReply":"",
                                                        "canDigg":"0"

            }
                            ,
                                         {
                "id":"94058600254638",
                "memberid":"",
                "evaluationId":"0",
                "name":"M***.",
                                    "countryCode":"us",
                "countryName":"",
                "rank":
                                        ""
                                    ,
                "buyerAccountPointLeval":"A1",
                "price":"",
                "quantity":"1",
                "unit":"piece",
                "lotNum":"1",
                "option":"",
                "star":"",
                "date":"29 Aug 2018 21:03",
                "buyerFeedback":"",
                                    "supplierReply":"",
                                                        "buyerReply":"",
                                                        "canDigg":"0"

            }
                            ,
                                         {
                "id":"94305519432368",
                "memberid":"",
                "evaluationId":"0",
                "name":"S***.",
                                    "countryCode":"ru",
                "countryName":"",
                "rank":
                                        ""
                                    ,
                "buyerAccountPointLeval":"A1",
                "price":"",
                "quantity":"1",
                "unit":"piece",
                "lotNum":"1",
                "option":"",
                "star":"",
                "date":"29 Aug 2018 20:41",
                "buyerFeedback":"",
                                    "supplierReply":"",
                                                        "buyerReply":"",
                                                        "canDigg":"0"

            }
                            ,
                                         {
                "id":"702475432645369",
                "memberid":"",
                "evaluationId":"0",
                "name":"M***.",
                                    "countryCode":"ca",
                "countryName":"",
                "rank":
                                        ""
                                    ,
                "buyerAccountPointLeval":"A1",
                "price":"",
                "quantity":"1",
                "unit":"piece",
                "lotNum":"1",
                "option":"",
                "star":"",
                "date":"29 Aug 2018 19:54",
                "buyerFeedback":"",
                                    "supplierReply":"",
                                                        "buyerReply":"",
                                                        "canDigg":"0"

            }
                                    ],
"type":"default",
"page":{
        "current":"1",
        "total":"3"
    },
"range":{
        "region":"6 months",
        "transactions":"43"
    }

}
);

大佬们,这样的数据要怎么解析?

2个回答

这个格式并非json格式,需要去掉开头的 jQuery183026400820446366513_1535963936721( 和结尾的 );
a=jQuery183026400820446366513_1535963936721({"records":[XXXXXXXX}); ##赋值
js=a.strip(' jQuery183026400820446366513_1535963936721( ) \n\t\r') ## 去掉开头结尾部分
js=json.loads(js) ###转化JS格式

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
python如何批量的读取json格式的数据

我现在需要处理一批不断传入的json格式的数据,格式是这样的: > comsou 0 {"id":"F45EAB09792C","v":"0.10","mid":5221,"raw_beacons_data":"123B6A1ABAD1B5;123B6A1ABAC1B5;"} comsou 0 {"id":"F45EAB09792C","v":"0.10","mid":5222,"raw_beacons_data":"123B6A1ABAD1B5;"} comsou 0 {"id":"F45EAB09792C","v":"0.10","mid":5223,"raw_beacons_data":"123B6A1ABAC1B5;123B6A1ABAD1B5;"} comsou 0 {"id":"F45EAB09792C","v":"0.10","mid":5224,"raw_beacons_data":"123B6A1ABAD1B5;"} comsou 0 {"id":"F45EAB09792C","v":"0.10","mid":5225,"raw_beacons_data":"123B6A1ABAC1B5;123B6A1ABAD1B5;"} comsou 0 {"id":"F45EAB09792C","v":"0.10","mid":5226,"raw_beacons_data":"123B6A1ABAD1B5;"} 我现在想做的是不间断的读取这些传来的信息并提取出里面的‘id’和'raw_beacons_data'的值出来,想问一下各位大神该如何做呢? 另外就是我需要将'raw_beacons_data'里的两组数据(以;隔开的)分别拿出来,又该如何做呢?

python中使用json解析字符串出现问题

在解析地址 ``` https://api-zero.livere.com/v1/comments/list?callback=jQuery11240792331041974006_1546517344998&limit=10&repSeq=4272904&requestPath=%2Fv1%2Fcomments%2Flist&consumerSeq=1020&livereSeq=28583&smartloginSeq=5154&_=1546517345000 ``` 生成的json数据的时候,发现解析错误,在查看过内容后发现json数据中有很多不需要的数据,怎么去除这些数据,让**json.loads(json_data)**能够解析成功

使用Python或Java解析Json文件,逐级打印菜单

有这样一个菜单json文件: {"id":"100" "name":"File" "parent":"#", "id":"200" "name":"Edit" "parent":"#", "id":"300" "name":"Search" "parent":"#", "id":"400" "name":"Project" "parent":"#", "id":"500" "name":"Help" "parent":"#", "id":"101" "name":"New" "parent":"100", "id":"102" "name":"Open" "parent":"100", "id":"103" "name":"Load" "parent":"100", "id":"201" "name":"Cut" "parent":"200", "id":"202" "name":"Copy" "parent":"200", "id":"203" "name":"Paste" "parent":"200", "id":"301" "name":"Back" "parent":"300", "id":"302" "name":"Replace" "parent":"300", "id":"303" "name":"Jump" "parent":"300", "id":"401" "name":"Add" "parent":"400", "id":"402" "name":"Remove" "parent":"400", "id":"403" "name":"Close" "parent":"400", "id":"501" "name":"Mode" "parent":"500", "id":"502" "name":"Key" "parent":"500", "id":"503" "name":"About" "parent":"500", "id":"1011" "name":"xx" "parent":"101", "id":"2011" "name":"yy" "parent":"201", "id":"3011" "name":"zz" "parent":"301", } 想要打印出如下结果: 100 File 100 File 101 New 100>101 File>New 1011 xx 100>101>1011 File>New>xx 102 Open 100>102 File>Open 103 Load 100>103 File>Load 200 Edit 200 Edit 201 Cut 200>201 Edit>Cut 2011 yy 200>201>2011 Edit>Cut>yy 202 Copy 200>202 Edit>Copy 203 Paste 200>203 Edit>Paste 300 Search 300 Search 301 Back 300>301 Search>Back 3011 zz 300>301>3011 Search>Back>zz 302 Replace 300>302 Search>Replace 303 Jump 300>303 Search>Jump 400 Project 400 Project 401 Add 400>401 Project>Add 402 Remove 400>402 Project>Remove 403 Close 400>403 Project>Close 500 Help 500 Help 501 Mode 500>501 Help>Mode 502 Key 500>502 Help>Key 503 About 500>503 Help>About 想要得出如下结果: 属性Parent如果为#时,说明这是一个根节点,直接打印,打印格式为 ID+Name+ID+Name 属性Parent如果非#时,则需要找到父节点的ID和Name,打印格式为 ID+Name+Parent ID>ID+Parent Name>Name 如果父节点也不是一个根节点,打印格式为 ID+Name+根节点ID>Parent ID>ID+根节点Name>Parent Name>Name,以此类推。当菜单层级非常多时,此处判断如何写一个递归算法,逐级找到某节点的所有父节点。

请问如何解析数据库里的json格式数据

mysql数据库里存了5000多个json格式的数据,格式如下(由于篇幅有限,只截取了一部分) ``` {"tbproblem":[{"id":777,"path":"gradetwo/5/hngel05036/b/2d_xz_1_4p.jpg","answerPath":"gradetwo/5/hngel05036/b/2d_xz_1_4a_1_(2).jpg","content":"\u003cp\u003e\n\t如图所示,圆锥 $SO$ 的轴截面 $△$$SAB$ 是边长为$ 4 $的正三角形,$M$为母线 $SB$\u0026nbsp;的中点,过直线 $AM$ 作平面 $β$ $⊥$ 面 $SAB$ ,设 $β$\u003cspan\u003e\u0026nbsp;与圆锥侧面的交线为椭圆 $C$,则椭圆 $C$ 的短半轴\u003c/span\u003e\u003cspan style\u003d\"font-size:12px;line-height:1.5;\"\u003e为( \u0026nbsp; \u0026nbsp;)\u003c/span\u003e\n\u003c/p\u003e\n\u003cp\u003e\n\t\u003cspan\u003e\u003cimg title\u003d\"content_3072509_2\" alt\u003d\"content_3072509_2\" src\u003d\"http://7punek.com1.z0.glb.clouddn.com/content_3072509_2\" /\u003e\u0026nbsp; \u0026nbsp;\u003cbr /\u003e\n\u003c/span\u003e \n\u003c/p\u003e\n\u003cp\u003e\n\t\u003cspan\u003eA. \u003cspan\u003e$\\sqrt{2}$ \u0026nbsp; \u0026nbsp; \u0026nbsp; \u0026nbsp; \u0026nbsp; \u0026nbsp; \u0026nbsp;\u0026nbsp;\u003c/span\u003eB. $\\frac{\\sqrt{10}}{2}$\u003cspan\u003e\u0026nbsp;\u0026nbsp; \u0026nbsp; \u0026nbsp; \u0026nbsp; \u0026nbsp; \u0026nbsp; \u0026nbsp;\u0026nbsp;\u003c/span\u003eC. $\\sqrt{3}$\u003cspan\u003e\u0026nbsp;\u0026nbsp; \u0026nbsp; \u0026nbsp; \u0026nbsp; \u0026nbsp; \u0026nbsp; \u0026nbsp;\u0026nbsp;\u003c/span\u003e\u003c/span\u003e\u003cspan style\u003d\"font-size:12px;line-height:1.5;\"\u003eD. $2$\u003c/span\u003e \n\u003c/p\u003e","answerContent":"\u003cp\u003e\n\t分析:\n\u003c/p\u003e\n\u003cblockquote\u003e\n\t\u003cp\u003e\n\t\t\u003cspan style\u003d\"font-size:12px;line-height:1.5;\"\u003e\u0026nbsp;过$C$作平行于圆锥底面的截面(圆形),交$AS、BS于R、T, $交椭圆$C$于两点$P、Q, 则P、 Q$即是椭圆短半轴顶点,先利用轴截面$△SAB$是边长为 $4 $的正三角形,$C$为$AM$的中点,\u0026nbsp;计算$RC,TC$的值,再利用相交弦定理即可求得. ``` 我现在是要用Python把它们读出来,然后解析一下再存入另外的数据,请问老师该如何解析这个json格式的数据?不胜感激,谢谢。

python之json字符串解析错误

``` json_str="[{'a1':'<img src="test3.png">'}]" 有单引号双引号的如何解析成 json对象 ```

使用python爬虫解析json

报错 JSONDecodeError: Expecting value: line 1 column 1 (char 0) 源码 # -*- coding:utf-8 -*- import requests from openpyxl import Workbook url='https://www.lagou.com/jobs/positionAjax.json?px=default&city=上海&needAddtionalResult=false' page=1 lang_name='python' def get_json(url,page,lang_name): data={'first':True,'pn':page,'kd':lang_name} json_data=requests.post(url).json() #list_con=json_data['content']['positionResult']['result'] print(json_data['content']['positionResult']['result']) get_json(url,page,lang_name)

数据格式转换,字符串如何转换成JSON格式

请大神帮忙,如何用python函数转换数据格式 ``` 景观,土建 ,水电 ,,,照明 ,植物 ``` 第一行的意思是景观设计的其中一部分:土建; 第二行逗号之前内容与第一行相同,省略不写,意思是 景观——水电; 第三行第一、二个逗号之前的内容与第二行相同,省略不写,意思是 景观——水电——照明; 第四行第一个逗号之前的内容与第三行相同,省略不写,意思是 景观——植物; 最终用python函数转换成转换成下面的JSON格式,函数同时需要具备拓展的能力,在上面字符串不断扩充的情况下也能够适用。 ``` { "景观":[{ "土建":[] },{ "水电":[{ "照明":[] }] },{ "植物":[] }] } ``` 请大神帮忙思路。本人想了好久都没做出来。

Python读取JSON出现b'和\n'问题

使用Python自带的IDLE,发现读取JSON时会增加一些字符串。代码如下: ``` # -*- coding: utf-8 -*- import json from urllib.request import urlopen def getCountry(ipAddress): response=urlopen('http://freegeoip.net/json/'+ipAddress).read() print(response) responseJSON=json.loads(response) return responseJSON.get('country_code') print(getCountry('50.78.253.58')) ``` 运行环境如下: Python版本:python 3.5-64位 Windows系统:win10 64位(中文) 默认浏览器:Google chrome 46.0.2490.86 系统默认语言:中文 如图所示: ![图片说明](https://img-ask.csdn.net/upload/201703/19/1489921509_884593.jpg) 而翻看源码,似乎也没找到这几个字符串的东西: ![图片说明](https://img-ask.csdn.net/upload/201703/19/1489921759_759105.png) 麻烦大家帮忙看看有没有解决办法。系统是不太可能装英文版的了。第一次学习python,就遇到这种问题。

从JSON文件中提取/抓取特定数据

<div class="post-text" itemprop="text"> 这困扰了我好几个小时。 我一直在搜索很多东西,并且发现了很多信息。 问题是,我不是很好,实际上我是一名初学者。 我想用Python实现这一目标(如果可能的话!)。 也许还可以使用JavaScript和PHP? 我来解释一下。 我刚刚找到了这个网站http://listeningroom.net,它很棒。 你可以创建/加入房间并上传曲目并与朋友一起听。 我想从.json文件中提取/抓取/获取一些特定数据。 该文件包含艺术家、专辑标题、曲目标题等。 我只想提取艺术家、专辑和曲目标题。 http://listeningroom.net/room/chillasfuck/spins.json .json文件包含过去24小时内播放的曲目。 环顾四周后,我设法用Python抓取了整个.json文件(本地.json文件),其中包含以下可能不太有效的代码。 <pre><code> json_data=open('...\spins.json') data = json.load(json_data) pprint(data) json_data.close() </code></pre> <p>显示出以下内容:</p> <pre><code> [{u'endTime': u'1317752614105', u'id': u'cf37894e8eaf886a0d000000', u'length': 492330, u'metadata': {u'album': u'Mezzanine', u'artist': u'Massive Attack', u'bitrate': 128000, u'label': u'Virgin', u'length': 17494.479054779807, u'title': u'Group Four'}, </code></pre> <p><strong>这个只是显示的一部分内容</strong></p> 1、我想从一个网址(顶部提供的网址)中抓取它。2、仅获取“专辑”,“艺术家”和“标题” 3、确保它尽可能显示简单: <pre><code>Artist Track title Album Artist Track title Album </code></pre> <p>4、希望我能得到一些帮助,我真的很想为自己创建一个,这样我可以检查更多的音乐! 来自马文!</p> <p></p> </div>

python2.7中接口返回json格式数据中包含Unicode字符集,如何去掉这些“u”?

![图片说明](https://img-ask.csdn.net/upload/201904/16/1555414596_948273.png)

求助,python 解析爬取的网页源码中的json部分

爬下来的网页源码有一部分是这样的 : ![图片说明](https://img-ask.csdn.net/upload/201603/11/1457684608_605734.jpg) 中间那一部分是json吧?要怎么才能解析成像浏览器那样的好继续抓取所要的信息? 说部分是因为有另外一些是正常的html,就中间这一部分想要的信息就这样两行超级长的延伸。。。也使用过json.load()来解析,不想显示错误“没有可以解析的json对象”。 这两行中还有一部分“}\u0026nick\u003d${nick}\u0026rn\u003d${rn}\u0026stats...”应该是unicode的编码,也不知道要怎么办。。 我是想要从淘宝上爬些衣服的图片下来,从首页开始,爬出其中分页的链接,然后拿到分页的源码后要解析出图片的url时出的问题。 下面是部分代码: url = 'https://www.taobao.com' header = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/601.4.4 (KHTML, like Gecko) Version/9.0.3 Safari/601.4.4'} cookie = {"cookies":'mt="ci=10_1";uc1="cookie14=UoWyia%2Bf0iS5lw%3D%3D&cookie16=VT5L2FSpNgq6fDudInPRgavC%2BQ%3D%3D&existShop=false&cookie21=U%2BGCWk%2F7pY%2FF&tag=7&cookie15=UIHiLt3xD8xYTw%3D%3D&pas=0"'} html = requests.get(url) #解析html,xml转义字符 html_parser = HTMLParser.HTMLParser() text = html_parser.unescape(html.text) # soup = BeautifulSoup(html.text) #用xpath来提取链接,如"打底羊毛衫"这个类别 selector = etree.HTML(text) sub_url = selector.xpath('//*[@id="J_Top"]/div/div[1]/div/div/div/div[3]/div[1]/div/div/div[1]/a[1]/@href') print sub_url[0] sub_html = requests.get(sub_url[0]) sub_text = html_parser.unescape(sub_html.text) # soup = BeautifulSoup(sub_html.text,"lxml") # print soup.prettify() print sub_text ``` ```

<python>python爬取智联json页面,但是爬回来的数据不全?

1.智联一页有大概100条数据,但是爬回来只有20条 代码: ![图片说明](https://img-ask.csdn.net/upload/201905/07/1557194839_124865.png) https://img-ask.csdn.net/upload/201905/07/1557194839_124865.png 主函数: ![图片说明](https://img-ask.csdn.net/upload/201905/07/1557194939_248256.png) depth是爬取的页数,1页的时候只能在数据库看到20条记录,当把depth改成10的时候可以看到1000条信息,但是之后depth再增加(如改成20,30等)数据也不会再增加了,一直是1000条信息 ![图片说明](https://img-ask.csdn.net/upload/201905/07/1557195117_222005.png) 我觉得不是存储的问题,因为第一个爬取的函数返回来的页面就已经少了,只有20条,麻烦帮忙看一下这个爬取函数有什么问题,谢谢啦

python json解析出现No JSON object could be decoded的报错

源代码:#coding:utf-8 import requests import re import json url="http://www.newrank.cn/public/info/list.js?t=1461063208.68" user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = { 'User-Agent' : user_agent } jscontent=requests.get("http://www.newrank.cn/public/info/list.js?t=1461063208.68",headers=headers).content jsdict=json.loads(jscontent) 错误信息:Traceback (most recent call last): File "D:/Python/JetBrains PyCharm 5.0.4/PyCharm 5.0.4/Myproject/test1/test2.py", line 10, in <module> jsdict=json.loads(jscontent) File "D:\Python\lib\json\__init__.py", line 339, in loads return _default_decoder.decode(s) File "D:\Python\lib\json\decoder.py", line 364, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "D:\Python\lib\json\decoder.py", line 382, in raw_decode raise ValueError("No JSON object could be decoded") ValueError: No JSON object could be decoded 是因为json的bom头问题吗,我也尝试过一些网上的去除bom头的办法,不过都不管用,还望指点,非常头疼,谢谢!

Python,json转码,list of dictionaries遍历筛选

问题说明:原始数据导入字段index3就是json字符串格式(带单引号str),想要提取字典里面key值为"name"的所有value; ``` df_tmp #pandas dataframe #字段index3是json字符串格式(带单引号str),去掉单引号就是list of dics df_tmp["index3"][0] '[{"name": "Mary", "age":"7", "Sex":"F"},{"name":"Jack", "age":"11","Sex":"M"}]' df_tmp["index3"][1] '[{"name":"Jack", "age":"11","Sex":"M"},{"name":"Lucy","age":"9","Sex":"F"},{"name":"Nancy", "age":"10","Sex":"F"}]' df_tmp["index3"][2] '[{"name": "Luke", "age":"6", "Sex":"F"},{"name":"Lily", "age":"11","Sex":"F"}]' ``` 已有解决方案:把json转码成list of dictionaries,三层循环,遍历dataframe,遍历list,遍历字典; 问题:数据量稍微多一点,速度特别慢,python小白求大神想想其他的方案,比如pandas有没有好用的函数,可不可以用mysql处理?

Gson解析json数据返回空值

方法1: String str = object.toString(); Gson gson = new GsonBuilder().create(); complaintDetail = gson.fromJson(str, ComplaintDetail.class); ``` 方法2: if (object.has("node")) { complaintDetail.setNode(object.getString("node")); } if (object.has("operateStarttime")) { complaintDetail.setOperateStarttime(object .getString("operateStarttime")); } if (object.has("operateDepartment")) { complaintDetail.setOperateDepartment(object .getString("operateDepartment")); } ``` 采用方法1解析,如果这个app采用了签名 就会显示不出这条数据,不签名则可以正常显示数据,这个数据是通过接口获取的,但是采用方法2解析则不会出现问题,那么 使用Gson解析需要有什么注意的吗 或者是有什么限制条件吗,

python中用post方式获取网页XHR内容中的Json格式数据,但是返回了html的代码,这是为什么呢?

爬12306的过程中,扫描登录过程最后一步,post获取数据。但是报错 ![图片说明](https://img-ask.csdn.net/upload/201912/08/1575803358_790446.png) ``` def auth(uamtk_code): url = 'https://kyfw.12306.cn/passport/web/auth/uamtk' header = {'Accept': 'application/json, text/javascript, */*; q=0.01', 'Accept-Encoding': 'gzip, deflate, br', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Connection': 'keep-alive', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) \ Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0', 'Content - Length': '64'} data = {'uamtk': uamtk_code, 'appid': 'excater'} callback = session.post(url, headers=header, data=data).text ``` json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) post返回的值是这样的: <style type="text/css"> <!-- html,body{background:#fff;} --> </style> </head> <body> <div class="err_text"> <ul id="error" > <li id="err_top"> </li> <li id="err_bot">  网络可能存在问题,请您重试一下! <div class="time"> <SCRIPT language="javascript"> <!-- function initArray() { for (i = 0; i < initArray.arguments.length; i++) this[i] = initArray.arguments[i]; } var isnMonths = new initArray("1月", "2月", "3月", "4月", "5月", "6月", "7月", "8月", "9月", "10月", "11月", "12月"); var isnDays = new initArray("星期日", "星期一", "星期二", "星期三", "星期四", "星期五", "星期六", "星期日"); today = new Date(); hrs = today.getHours(); min = today.getMinutes(); sec = today.getSeconds(); clckh = "" + ((hrs > 12) ? hrs - 12 : hrs); clckm = ((min < 10) ? "0" : "") + min; clcks = ((sec < 10) ? "0" : "") + sec; clck = (hrs >= 12) ? "下午" : "上午"; var stnr = ""; var ns = "0123456789"; var a = ""; function getFullYear(d) { yr = d.getYear(); if (yr < 1000) yr += 1900; return yr; } document.write(getFullYear(today) + "å¹´" + isnMonths[today.getMonth()] + today.getDate() + "日" + " " + clckh + ":" + clckm + ":" + clcks + " " + isnDays[today.getDay()]); //--> </SCRIPT></div> </li> </ul> </div> </body> </html>

解析json对象数组,拿到每个对象属性值的方法

写一个公共方法,传List<class>对象数组进来,能解析出对象的指定属性值,由于对json这方面不是很熟,求大神帮帮忙。![图片说明](https://img-ask.csdn.net/upload/201710/28/1509189822_294593.png)

python爬虫scrapy爬取了数据无法写入json

用scrapy成功爬取了商品数据,但是到目录下却发现数据文件没有创建,郁闷。。pipelines文件代码如下 ``` import codecs import json class AutopjtPipeline(object): def _int_(self): self.file=codecs.open("77.json","wb",encoding="utf-8") def process_item(self, item, spider): for j in range(0,len(item["name"])): name = item["name"][j] price=item["price"][j] comnum = item["comnum"][j] link = item["link"][j] # 将当前页下第j个商品的name、price、comnum、link等信息处理一下,重新组合成一个字典 goods = {"name": name, "price": price, "comnum": comnum, "link": link} # 将组合后的当前页中第j个商品的数据写入json文件 i = json.dumps(dict(goods), ensure_ascii=False) line = i + '\n' self.file.write(line) # 返回item return item def close_spider(self,spider): self.file.close() ``` 同时报错 Traceback (most recent call last): File "c:\users\93422\appdata\local\programs\python\python35\lib\site-packages\twisted\internet\defer.py", line 654, in _runCallbacks current.result = callback(current.result, *args, **kw) File "C:\Users\93422\Desktop\python\autopjt\autopjt\pipelines.py", line 28, in close_spider self.file.close() AttributeError: 'AutopjtPipeline' object has no attribute 'file' items文件代码以及爬虫代码都基本没问题,爬虫代码如下 ```import scrapy from autopjt.items import AutopjtItem from scrapy.http import Request class AutospdSpider(scrapy.Spider): name = 'autospd' allowed_domains = ['dangdang.com'] start_urls = ['http://category.dangdang.com/pg1-cid4003872-srsort_sale_amt_desc.html' ] def parse(self, response): item=AutopjtItem() item['name']=response.xpath("//p[@class='name']/@title").extract() item['price']=response.xpath('//span[@class="price_n"]/text()').extract() item['link']=response.xpath('//p[@class="name"]/@href').extract() item['comnum']=response.xpath('//a[@ddclick]/text()').extract() yield item for i in range(1,20): url="http://category.dangdang.com/pg"+str(i)+"-cid4003872-srsort_sale_amt_desc.html" yield Request(url,callback=self.parse) ```

写python 爬虫时遇到解析json的 keyerror问题

![图片说明](https://img-ask.csdn.net/upload/201904/12/1555057792_682412.png) 因为每一类的电影页数不确定 所以for循环循环到的页面所爬取的有的json数据是 {"data":[{"data":"no result"}],"status":0}这样的(就是该页数是空的 没有能够爬到的) 会提示keyerror 应该怎么解决呢 用default提示是str不是字典 有什么办法可以直接跳过吗

大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了

大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

Java基础知识面试题(2020最新版)

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

我以为我学懂了数据结构,直到看了这个导图才发现,我错了

数据结构与算法思维导图

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

Linux 会成为主流桌面操作系统吗?

整理 |屠敏出品 | CSDN(ID:CSDNnews)2020 年 1 月 14 日,微软正式停止了 Windows 7 系统的扩展支持,这意味着服役十年的 Windows 7,属于...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

学习总结之HTML5剑指前端(建议收藏,图文并茂)

前言学习《HTML5与CSS3权威指南》这本书很不错,学完之后我颇有感触,觉得web的世界开明了许多。这本书是需要有一定基础的web前端开发工程师。这本书主要学习HTML5和css3,看...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

搜狗输入法也在挑战国人的智商!

故事总是一个接着一个到来...上周写完《鲁大师已经彻底沦为一款垃圾流氓软件!》这篇文章之后,鲁大师的市场工作人员就找到了我,希望把这篇文章删除掉。经过一番沟通我先把这篇文章从公号中删除了...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

新一代神器STM32CubeMonitor介绍、下载、安装和使用教程

关注、星标公众号,不错过精彩内容作者:黄工公众号:strongerHuang最近ST官网悄悄新上线了一款比较强大的工具:STM32CubeMonitor V1.0.0。经过我研究和使用之...

记一次腾讯面试,我挂在了最熟悉不过的队列上……

腾讯后台面试,面试官问:如何自己实现队列?

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

冒泡排序动画(基于python pygame实现)

本项目效果初始截图如下 动画见本人b站投稿:https://www.bilibili.com/video/av95491382 本项目对应github地址:https://github.com/BigShuang python版本:3.6,pygame版本:1.9.3。(python版本一致应该就没什么问题) 样例gif如下 ======================= 大爽歌作,mad

Redis核心原理与应用实践

Redis核心原理与应用实践 在很多场景下都会使用Redis,但是到了深层次的时候就了解的不是那么深刻,以至于在面试的时候经常会遇到卡壳的现象,学习知识要做到系统和深入,不要把Redis想象的过于复杂,和Mysql一样,是个读取数据的软件。 有一个理解是Redis是key value缓存服务器,更多的优点在于对value的操作更加丰富。 安装 yum install redis #yum安装 b...

现代的 “Hello, World”,可不仅仅是几行代码而已

作者 |Charles R. Martin译者 | 弯月,责编 | 夕颜头图 |付费下载自视觉中国出品 | CSDN(ID:CSDNnews)新手...

带了6个月的徒弟当了面试官,而身为高级工程师的我天天修Bug......

即将毕业的应届毕业生一枚,现在只拿到了两家offer,但最近听到一些消息,其中一个offer,我这个组据说客户很少,很有可能整组被裁掉。 想问大家: 如果我刚入职这个组就被裁了怎么办呢? 大家都是什么时候知道自己要被裁了的? 面试软技能指导: BQ/Project/Resume 试听内容: 除了刷题,还有哪些技能是拿到offer不可或缺的要素 如何提升面试软实力:简历, 行为面试,沟通能...

!大部分程序员只会写3年代码

如果世界上都是这种不思进取的软件公司,那别说大部分程序员只会写 3 年代码,恐怕就没有程序员这种职业。

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

2020阿里全球数学大赛:3万名高手、4道题、2天2夜未交卷

阿里巴巴全球数学竞赛( Alibaba Global Mathematics Competition)由马云发起,由中国科学技术协会、阿里巴巴基金会、阿里巴巴达摩院共同举办。大赛不设报名门槛,全世界爱好数学的人都可参与,不论是否出身数学专业、是否投身数学研究。 2020年阿里巴巴达摩院邀请北京大学、剑桥大学、浙江大学等高校的顶尖数学教师组建了出题组。中科院院士、美国艺术与科学院院士、北京国际数学...

为什么你不想学习?只想玩?人是如何一步一步废掉的

不知道是不是只有我这样子,还是你们也有过类似的经历。 上学的时候总有很多光辉历史,学年名列前茅,或者单科目大佬,但是虽然慢慢地长大了,你开始懈怠了,开始废掉了。。。 什么?你说不知道具体的情况是怎么样的? 我来告诉你: 你常常潜意识里或者心理觉得,自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间,还有无限的可能,自己还能逆风翻盘,只不是自己还没开始罢了,自己以后肯定会变得特别厉害...

HTTP与HTTPS的区别

面试官问HTTP与HTTPS的区别,我这样回答让他竖起大拇指!

程序员毕业去大公司好还是小公司好?

虽然大公司并不是人人都能进,但我仍建议还未毕业的同学,尽力地通过校招向大公司挤,但凡挤进去,你这一生会容易很多。 大公司哪里好?没能进大公司怎么办?答案都在这里了,记得帮我点赞哦。 目录: 技术氛围 内部晋升与跳槽 啥也没学会,公司倒闭了? 不同的人脉圈,注定会有不同的结果 没能去大厂怎么办? 一、技术氛围 纵观整个程序员技术领域,哪个在行业有所名气的大牛,不是在大厂? 而且众所...

男生更看重女生的身材脸蛋,还是思想?

往往,我们看不进去大段大段的逻辑。深刻的哲理,往往短而精悍,一阵见血。问:产品经理挺漂亮的,有点心动,但不知道合不合得来。男生更看重女生的身材脸蛋,还是...

程序员为什么千万不要瞎努力?

本文作者用对比非常鲜明的两个开发团队的故事,讲解了敏捷开发之道 —— 如果你的团队缺乏统一标准的环境,那么即使勤劳努力,不仅会极其耗时而且成果甚微,使用...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

立即提问
相关内容推荐