sinopw 2022-01-08 21:28 采纳率: 100%
浏览 44
已结题

为什么爬虫爬到了东西但解析不了

import requests
from bs4 import BeautifulSoup
import csv

url='https://www.epo.org/search.html?q=hydrogen%20storage&resultsPerPage=100&sortOrder=1'

data_list=[]

res=requests.get(url)
print(res.status_code)
bs=BeautifulSoup(res.text,'html.parser')
reslist=bs.find_all('a',class_='headlink')
print(reslist)

最后一行出来的结果是'[]'
为什么啊



  • 写回答

2条回答 默认 最新

  • CSDN专家-showbo 2022-01-08 21:32
    关注

    网址数据是动态加载的,requests无法获取,需要找到数据接口来请求。数据接口网址:https://www.epo.org/search/api/v2/search
    需要post请求,发送参数

    img

    img

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 1月16日
  • 已采纳回答 1月8日
  • 创建了问题 1月8日

悬赏问题

  • ¥15 素材场景中光线烘焙后灯光失效
  • ¥15 请教一下各位,为什么我这个没有实现模拟点击
  • ¥15 执行 virtuoso 命令后,界面没有,cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 保护模式-系统加载-段寄存器