kh945926945
2017-01-20 03:50爬虫处理json数据的问题
这个爬虫几个星期前都可以正常使用,可是最近却出问题了
import json
import requests as rq
import pandas as pd
kw = input('Please input the position needs to fetch:')
lagou_url = 'http://www.lagou.com/jobs/positionAjax.json?first=false&pn={0}&kd={1}'
lagou_python_data = []
for i in range(1, 31):
print('fetch {0} page'.format(i))
lagou_url_ = lagou_url.format(i, kw)
f=rq.get(lagou_url_).text
lagou_data = json.loads(f)
lagou_python_data.extend(lagou_data['content']['positionResult']['result'])
position_data = pd.DataFrame(lagou_python_data)
position_data.to_csv('./About {0} position.csv'.format(kw), index=False)
print('data has been saved')
会报json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)的错误,查了一些资料觉得可能是json格式之类的问题,可是之前都能正常使用呐,实在是弄不明白。
- 点赞
- 回答
- 收藏
- 复制链接分享
3条回答
为你推荐
- 爬虫数据存入CSV时报错:字符串对象没有关键字属性,可是类型查询结果又是字典对象啊,是什么原因?
- python
- 3个回答
- 求助:python爬取12306车票信息总是出现错误
- python
- 3个回答
- python3 爬虫爬取不规则、带有转义符的json字符串,json.loads()报错
- python
- 1个回答
- scrapy爬虫相关 关于json数据的处理
- xpath
- json
- 爬虫
- 数据
- 1个回答
- 求助,python 解析爬取的网页源码中的json部分
- 网页源码
- 2个回答
换一换