七十二148 2023-05-10 00:58 采纳率: 93.8%
浏览 19
已结题

Python爬虫出现问题得不到数据

爬虫的时候出现问题,得不到数据,搜索了一下,说可能被反爬,但是写了headers也没有用,标签也看了没有输错,求解,不知道是不是哪里代码敲错了还是被反爬了,还是没有安装什么模块。求解决

img

img

  • 写回答

4条回答 默认 最新

  • 7*24 工作者 2023-05-10 08:51
    关注
    '''
    你找错位置了,数据真正的接口不是 https://ys.endata.cn/BoxOffice/Ranking
    而是 https://ys.endata.cn/enlib-api/api/home/getrank_mainland.do  ,
    分析接口请求后,编写爬虫代码如下
    '''
    
    import requests
    import random
    
    start_url = 'https://ys.endata.cn/enlib-api/api/home/getrank_mainland.do'
    headers = {
        'User-Agent':"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
        'Host':'ys.endata.cn',
        'Refer':'https://ys.endata.cn/BoxOffice/Ranking'
    }
    form_data = {
        'r': str(random.random()),   # 0.9684041165722543  0.2844434404480951  0.056809053050767444  0.40809026266514836
        'top': 50,
        'type': 0
    }
    
    result = requests.post(start_url,headers=headers,data=form_data).json()
    print(result.get('data').get('table0'))
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(3条)

报告相同问题?

问题事件

  • 系统已结题 6月18日
  • 已采纳回答 6月10日
  • 创建了问题 5月10日

悬赏问题

  • ¥100 ensp启动设备蓝屏,代码clock_watchdog_timeout
  • ¥15 Android studio AVD启动不了
  • ¥15 陆空双模式无人机怎么做
  • ¥15 想咨询点问题,与算法转换,负荷预测,数字孪生有关
  • ¥15 C#中的编译平台的区别影响
  • ¥15 软件供应链安全是跟可靠性有关还是跟安全性有关?
  • ¥15 电脑蓝屏logfilessrtsrttrail问题
  • ¥20 关于wordpress建站遇到的问题!(语言-php)(相关搜索:云服务器)
  • ¥15 【求职】怎么找到一个周围人素质都很高不会欺负他人,并且未来月薪能够达到一万以上(技术岗)的工作?希望可以收到写有具体,可靠,已经实践过了的路径的回答?
  • ¥15 Java+vue部署版本反编译