如第一张图所示,已经拥有ISSN,通过搜索框输入后,对结果栏(如第二张图所示)里面的一些指标包括影响因子、官网等进行提取,在通过request提取后,发现找不到这些指标对应的class,代码如第三张图所示,最终想得到的信息如第四张图所示。初学python,问题比较愚蠢还请见谅。

python爬取网页信息(主要为期刊影响因子、官网等),已有ISSN进行检索,但爬取过程找不到class该怎么办?
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
5条回答 默认 最新
- 阳光宅男xxb 2023-03-28 14:12关注
你需要现在网页html中看下那些指标因子的html结构是什么,才知道怎么提取。你的数据是在一个表格中,你可以先定位到表格的html,然后通过前后html标签来定位到你要解析的数据。代码如下,已成功提取,望采纳!
import requests from bs4 import BeautifulSoup import re req = requests.get(url="https://www.letpub.com.cn/index.php?journalid=662&page=journalapp&view=detail") req.encoding = "utf-8" html=req.text soup = BeautifulSoup(html,'lxml') #先定位数据所在的table table_htmls = soup.find_all('table',attrs={'class':'table_yjfx'}) tr = table_htmls[1].find('td',string=re.compile("E-ISSN")) print(tr.parent.next_sibling.contents[1].get_text()) td_2 = table_htmls[1].find('td',string="期刊官方网站") if td_2: print(td_2.next_sibling.a['href'])
最后成功提取你要的数据:
因为我这里没有登录,所以影响因子那里是图上的文字本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报 编辑记录
悬赏问题
- ¥15 如何利用闲置机械硬盘变现
- ¥15 信号处理中的凸优化问题
- ¥15 arm虚拟机无法和物理机互通
- ¥15 Android导航条遮盖异常
- ¥15 计算机网络技术基础问题
- ¥15 设置mac系统只能访问指定网站
- ¥15 西门子博途 s7 1200控制三台步进电机
- ¥15 基于非参数的方向距离函数求污染物影子价格(有偿)
- ¥15 vue+element 生成table
- ¥15 实验 4 FIFO 算法和 LRU 算法-C 程序实现