a79912434 2022-02-11 13:01 采纳率: 66.7%
浏览 533
已结题

python爬虫使用json()方法将response结果转化为JSON格式时报错

问题遇到的现象和发生背景

python爬虫使用json()方法将response结果转化为JSON格式时报错simplejson.errors.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

问题相关代码,请勿粘贴截图
 try:
        response = requests.get(url)
        if response.status_code == 200:
            print('连接成功')
            print(type(response))
            return response.json()
        else:
            print(response.status_code)

运行结果及报错内容
import requests
from urllib.parse import urlencode


def get_page(page_num):
    params = {
        "keyword": "街拍",
        "pd": "atlas",
        "source": "search_subtab_switch",
        "dvpf": "pc",
        "aid": "4916",
        "page_num": page_num,
        "rawJSON": "1",
        "search_id": "202202111136570101501341604D100200"
        }
    url = 'https://so.toutiao.com/search?' + urlencode(params)
    print(url)
    try:
        response = requests.get(url)
        if response.status_code == 200:
            print('连接成功')
            print(type(response))
            return response.json()
        else:
            print(response.status_code)
    except requests.ConnectionError:
        print('连接失败')
        return None

我的解答思路和尝试过的方法

1、原网页是不是json格式内容。 是
2、测试是否被反爬 没有被反爬
3、

我想要达到的结果

能将response转换为JSON格式

  • 写回答

4条回答 默认 最新

  • llc的足迹 2022-02-11 14:23
    关注

    网站设计了相应的反扒策略,需要把Cookie添加到headers中,这种问题一般从headers入手,有的限制User-Agent必须有,有的限制Cookie

    headers = {
      'Cookie':'xxxxxxxxxxxxxxx'
    }
    
    response = requests.get(url, headers=headers)
    

    Cookie获取方法:

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(3条)

报告相同问题?

问题事件

  • 系统已结题 2月19日
  • 已采纳回答 2月11日
  • 创建了问题 2月11日

悬赏问题

  • ¥15 小程序中fit格式等运动数据文件怎样实现可视化?(包含心率信息))
  • ¥15 如何利用mmdetection3d中的get_flops.py文件计算fcos3d方法的flops?
  • ¥40 串口调试助手打开串口后,keil5的代码就停止了
  • ¥15 电脑最近经常蓝屏,求大家看看哪的问题
  • ¥60 高价有偿求java辅导。工程量较大,价格你定,联系确定辅导后将采纳你的答案。希望能给出完整详细代码,并能解释回答我关于代码的疑问疑问,代码要求如下,联系我会发文档
  • ¥50 C++五子棋AI程序编写
  • ¥30 求安卓设备利用一个typeC接口,同时实现向pc一边投屏一边上传数据的解决方案。
  • ¥15 SQL Server analysis services 服务安装失败
  • ¥15 基于面向对象的图书馆借阅管理系统
  • ¥15 opencv图像处理,需要四个处理结果图