weixin_44668783
weixin_44668783
采纳率100%
2019-05-29 10:16

Python爬取网页用json解析时出现'unicode' object has no attribute 'get'的错误

已采纳

import json
import requests
from bs4 import BeautifulSoup

headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
data={'form':'news_webapp',
'pd':'webapp',
'os':'android',
'ver':6,
'category_name':'汽车',
'category_id':'',
'action':0,
'display_time':1559091497963,
'mid':'110B561D1D1B9ABD25614852D9CA61CD:FG=1'}
urls='https://news.baidu.com/sn/api/feed_channellist'
res=requests.post(urls,data=data,headers=headers)

js=json.loads(res.text)

if data and 'data' in js.keys():
for link in js.get('data'):

    print link.get('news')
  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

2条回答

  • mx472756841 战渣渣 2年前

    我刚试了一下,你的代码没有问题。

    出现这个问题的情况应该是你爬取的网站对你做了限制。

    你这个处理只是正确的处理情况,就是爬取文章返回的是正确数据时,也就是说你第一次请求时返回的数据是正确的,你这个处理没有问题

    但是你再次请求时,网站对你做了反爬虫处理,所以返回的数据是为空了,所以你再对一个空数据做做get请求时,就是错误数据了

    1. 你的代码对link做验证,如果返回的是字典,按照这种方式处理。如果不是的需要再次换IP请求数据等。
    2. 对反爬虫处理,使用代理IP等方式。
    点赞 1 评论 复制链接分享
  • gammey gammey 2年前

    link是一个unicode类型变量,没有get方法。

    点赞 评论 复制链接分享