ysr123456yyy 2024-05-09 22:44 采纳率: 81.3%
浏览 9
已结题

Python爬虫新闻网站的标题返回结果为空列表

Python爬虫新闻网站的标题,使用BeautifulSoup,但返回结果为空列表(网站为https://www.dongqiudi.com/articles
检查了父子节点的顺序,并没有出错,但就是返回为空
结果如图

img

import requests
from bs4 import BeautifulSoup

URL='https://www.dongqiudi.com/articles'
Headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36 Edg/124.0.0.0'
}
response = requests.get(url=URL,headers=Headers)
response.encoding = 'utf-8'
html_source = response.text

soup = BeautifulSoup(html_source, 'html.parser')
li_list = soup.select('body > div.news-list > div.news-list-con > div.top > div.top-right > a')
print(li_list)

网站源代码(部分)

img

  • 写回答

5条回答 默认 最新

  • 「已注销」 2024-05-10 00:58
    关注

    去掉bs4选择器中的'body >'即可

    li_list = soup.select('div.news-list > div.news-list-con > div.top > div.top-right > a')
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(4条)

报告相同问题?

问题事件

  • 系统已结题 5月18日
  • 已采纳回答 5月10日
  • 修改了问题 5月9日
  • 创建了问题 5月9日

悬赏问题

  • ¥300 寻抓云闪付tn组成网页付款链接
  • ¥15 请问Ubuntu要怎么安装chrome呀?
  • ¥15 视频编码 十六进制问题
  • ¥15 Xsheii7我安装这个文件的时候跳出来另一个文件已锁定文件的无一部分进程无法访问。这个该怎么解决
  • ¥15 unity terrain打包后地形错位,跟建筑不在同一个位置,怎么办
  • ¥15 FileNotFoundError 解决方案
  • ¥15 uniapp实现如下图的图表功能
  • ¥15 u-subsection如何修改相邻两个节点样式
  • ¥30 vs2010开发 WFP(windows filtering platform)
  • ¥15 服务端控制goose报文控制块的发布问题