a15002098257 2021-07-08 22:20 采纳率: 100%
浏览 59
已采纳

用python爬取bilibili的入站必刷榜单请问代码哪里错了

import requests
from lxml import etree
if name=='main':
header = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100098 Firefox/89.0'
}
url='https://www.bilibili.com/v/popular/history'
r=requests.get(url=url,headers=header).text
tree=etree.HTML(r)
title_list=tree.xpath('//div[@class="card-list"]/div')
for div in title_list:
title_data=title_list.xpath('/div/div[2]/p/text()')[0]
title_name=requests.get(url=title_data,headers=header).text
with open('bilibili.txt','w','utf-8') as fp:
fp.write(title_name)
print(title_name)

  • 写回答

2条回答 默认 最新

  • CSDN专家-HGJ 2021-07-09 02:08
    关注

    因为页面数据是js动态加载的,无法用代码中的方法解析到数据,可以通过开发者工具F12切换到XHR下找到相关数据链接,post请求获取json数据再解析。

    如有帮助,望采纳。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 已采纳回答 7月9日
  • 创建了问题 7月8日

悬赏问题

  • ¥15 cpuid是如何转换的
  • ¥15 MddBootstrapInitialize2失败
  • ¥15 LCD Flicker
  • ¥15 Spring MVC项目,访问不到相应的控制器方法
  • ¥15 esp32在micropython环境下使用ssl/tls连接mqtt服务器出现以下报错Connected on 192.168.154.223发生意外错误: 5无法连接到 MQTT 代理,如何解决?
  • ¥15 关于#genesiscsheel#的问题,如何解决?
  • ¥15 Android aidl for hal
  • ¥15 STM32CubeIDE下载程序报错
  • ¥15 微信好友如何转变为会员系统?(相关搜索:小程序)
  • ¥15 c# 直接使用c++ 类库文件