爬虫的时候出现问题,得不到数据,搜索了一下,说可能被反爬,但是写了headers也没有用,标签也看了没有输错,求解,不知道是不是哪里代码敲错了还是被反爬了,还是没有安装什么模块。求解决
4条回答 默认 最新
- 7*24 工作者 2023-05-10 08:51关注
''' 你找错位置了,数据真正的接口不是 https://ys.endata.cn/BoxOffice/Ranking 而是 https://ys.endata.cn/enlib-api/api/home/getrank_mainland.do , 分析接口请求后,编写爬虫代码如下 ''' import requests import random start_url = 'https://ys.endata.cn/enlib-api/api/home/getrank_mainland.do' headers = { 'User-Agent':"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)", 'Host':'ys.endata.cn', 'Refer':'https://ys.endata.cn/BoxOffice/Ranking' } form_data = { 'r': str(random.random()), # 0.9684041165722543 0.2844434404480951 0.056809053050767444 0.40809026266514836 'top': 50, 'type': 0 } result = requests.post(start_url,headers=headers,data=form_data).json() print(result.get('data').get('table0'))
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥100 ensp启动设备蓝屏,代码clock_watchdog_timeout
- ¥15 Android studio AVD启动不了
- ¥15 陆空双模式无人机怎么做
- ¥15 想咨询点问题,与算法转换,负荷预测,数字孪生有关
- ¥15 C#中的编译平台的区别影响
- ¥15 软件供应链安全是跟可靠性有关还是跟安全性有关?
- ¥15 电脑蓝屏logfilessrtsrttrail问题
- ¥20 关于wordpress建站遇到的问题!(语言-php)(相关搜索:云服务器)
- ¥15 【求职】怎么找到一个周围人素质都很高不会欺负他人,并且未来月薪能够达到一万以上(技术岗)的工作?希望可以收到写有具体,可靠,已经实践过了的路径的回答?
- ¥15 Java+vue部署版本反编译