Python爬虫获取到的HTML格式的信息如何转换成json格式

Question

url = "https://data.variflight.com/analytics/CodeQuery"
data = {"key":"PEK","page":0}
res = requests.request("post",url,data=data)
res = res.content.decode("utf-8")
b =json.loads(res)
print(b)

爬取到的信息使用json.loads转换为json时出错，

File "C:\python\lib\json\decoder.py", line 337, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
  File "C:\python\lib\json\decoder.py", line 355, in raw_decode
    raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

Answer 1

json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
看看你的编码，是不是不是utf8或者包含了不合法的字符（直接把xml当作json了）
这个需要你解析html再将数据写入json，不能直接decode

Answer 2

你先把返回信息打印一下看看 我这边测试 返回内容是错误 根本不是json字符串 转json肯定出错

 

import requests
url = "https://data.variflight.com/analytics/CodeQuery"
data = {"key":"PEK","page":0}
res = requests.request("post",url,data=data)
print(res.text)
b =json.loads(res)
print(b)