a79912434 2022-02-11 13:01 采纳率: 75%
浏览 551
已结题

python爬虫使用json()方法将response结果转化为JSON格式时报错

问题遇到的现象和发生背景

python爬虫使用json()方法将response结果转化为JSON格式时报错simplejson.errors.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

问题相关代码,请勿粘贴截图
 try:
        response = requests.get(url)
        if response.status_code == 200:
            print('连接成功')
            print(type(response))
            return response.json()
        else:
            print(response.status_code)

运行结果及报错内容
import requests
from urllib.parse import urlencode


def get_page(page_num):
    params = {
        "keyword": "街拍",
        "pd": "atlas",
        "source": "search_subtab_switch",
        "dvpf": "pc",
        "aid": "4916",
        "page_num": page_num,
        "rawJSON": "1",
        "search_id": "202202111136570101501341604D100200"
        }
    url = 'https://so.toutiao.com/search?' + urlencode(params)
    print(url)
    try:
        response = requests.get(url)
        if response.status_code == 200:
            print('连接成功')
            print(type(response))
            return response.json()
        else:
            print(response.status_code)
    except requests.ConnectionError:
        print('连接失败')
        return None

我的解答思路和尝试过的方法

1、原网页是不是json格式内容。 是
2、测试是否被反爬 没有被反爬
3、

我想要达到的结果

能将response转换为JSON格式

  • 写回答

4条回答 默认 最新

  • llc的足迹 2022-02-11 14:23
    关注

    网站设计了相应的反扒策略,需要把Cookie添加到headers中,这种问题一般从headers入手,有的限制User-Agent必须有,有的限制Cookie

    headers = {
      'Cookie':'xxxxxxxxxxxxxxx'
    }
    
    response = requests.get(url, headers=headers)
    

    Cookie获取方法:

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(3条)

报告相同问题?

问题事件

  • 系统已结题 2月19日
  • 已采纳回答 2月11日
  • 创建了问题 2月11日

悬赏问题

  • ¥15 我需要全国每个城市的最新小区名字等数据。
  • ¥15 开发一个小区生态的小程序
  • ¥15 MddBootstrapInitialize2失败
  • ¥15 LCD Flicker
  • ¥15 Spring MVC项目,访问不到相应的控制器方法
  • ¥15 esp32在micropython环境下使用ssl/tls连接mqtt服务器出现以下报错Connected on 192.168.154.223发生意外错误: 5无法连接到 MQTT 代理,如何解决?
  • ¥15 关于#genesiscsheel#的问题,如何解决?
  • ¥15 Android aidl for hal
  • ¥15 STM32CubeIDE下载程序报错
  • ¥15 微信好友如何转变为会员系统?(相关搜索:小程序)