kh945926945 2017-01-20 03:50 采纳率: 0%
浏览 3229

爬虫处理json数据的问题

这个爬虫几个星期前都可以正常使用,可是最近却出问题了
import json
import requests as rq
import pandas as pd

kw = input('Please input the position needs to fetch:')
lagou_url = 'http://www.lagou.com/jobs/positionAjax.json?first=false&pn={0}&kd={1}'
lagou_python_data = []
for i in range(1, 31):
print('fetch {0} page'.format(i))
lagou_url_ = lagou_url.format(i, kw)
f=rq.get(lagou_url_).text
lagou_data = json.loads(f)
lagou_python_data.extend(lagou_data['content']['positionResult']['result'])

position_data = pd.DataFrame(lagou_python_data)
position_data.to_csv('./About {0} position.csv'.format(kw), index=False)
print('data has been saved')

会报json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)的错误,查了一些资料觉得可能是json格式之类的问题,可是之前都能正常使用呐,实在是弄不明白。

  • 写回答

3条回答 默认 最新

  • Kolamu 2017-01-20 05:13
    关注

    你把f打印出来看下吧,好爬虫是得关注宿主的动向的,宿主改了,爬虫也得及时跟上!

    评论

报告相同问题?

悬赏问题

  • ¥15 vscode的问题提问
  • ¥50 切换TabTip键盘的输入法
  • ¥15 可否在不同线程中调用封装数据库操作的类
  • ¥15 微带串馈天线阵列每个阵元宽度计算
  • ¥15 keil的map文件中Image component sizes各项意思
  • ¥20 求个正点原子stm32f407开发版的贪吃蛇游戏
  • ¥15 划分vlan后,链路不通了?
  • ¥20 求各位懂行的人,注册表能不能看到usb使用得具体信息,干了什么,传输了什么数据
  • ¥15 Vue3 大型图片数据拖动排序
  • ¥15 Centos / PETGEM