关于#python#的问题：使用bs4调用find_all方法总是返回一个空列表这是为什么

最近做一个爬虫，使用bs4调用find_all方法总是返回一个空列表这是为什么？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
CSDN专家-天际的海浪 2021-07-11 20:39
关注
因为这个网页中的内容是通过js读取外部json数据来动态更新的。
requests只能获取网页的静态源代码，动态更新的取不到，
对于动态更新的要用selenium 的 webdriver 爬取。

或者是通过F12控制台分析页面数据加载的链接，找到真正json数据的地址进行爬取。

你要练习requests抓取页面需要找内容直接写源代码中的页面来练习

解决 1
无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

用Python爬取智慧树问题时，没办法入到soup.find_all（）的for循环中 python
2021-08-27 15:54

回答 1 已采纳因为你数据没有抓取到, 所以打印没输出
关于#python#的问题，请各位专家解答！ python 爬虫
2023-03-01 22:24

回答 2 已采纳应该是Judge = re.findall(findJudge, item)[0]中正则匹配re.findall(findJudge, item)结果是空列表，用[0]读取的时候提示索引越界了。可修改
为什么爬取豆瓣top250得到是的是个空列表啊 python 有问必答
2021-12-03 22:06

回答 2 已采纳被反扒了，加上User-Agent def getHtml(url): r=requests.get(url,headers={'User-Agent':'Mozilla/5.0 (Windo
69节入门python_python-69：find() 和 find_all()
2020-12-19 04:21

weixin_39627661的博客 find_all()的详细说明和使用方法在BS4文档的"搜索文档树" 这一章节里面，这一章节的内容对爬虫来说很重要，而且也不是很多，建议大家还是认真的学习这一小部分的内容，我这里就简单的讲解一下，首先，第一个问题1....
python多个def如何互相使用参数值 python 有问必答
2021-10-31 22:31

回答 2 已采纳把赋值的参数返回，并传递到下个方法，这样就可以了，望采纳，谢谢！ # coding=utf-8 import requests from bs4 import BeautifulSoup im
python爬虫入门问题 python 有问必答
2021-06-16 16:50

回答 3 已采纳有两个错误的地方，一是在askURL函数里，不要把return html放到except里,否则没有异常时返回为None，将其写成与try,except对齐；二是在函数 getData里，for循环
爬虫爬取时返回空列表 python 有问必答正则表达式
2021-11-29 20:10

回答 1 已采纳正则去掉class内容，bilibili源代码没有class findLink=re.compile(r'<a href="(.*?)" target="_blank">.*?<
万字博文让我们携手一起走进bs4的世界【python Beautifulsoup】bs4入门 find()与find_all()
2022-03-15 22:41

颖火虫-IT赵云的博客 BeautifulSoup 支持从HTML或XML文件中提取数据的Python库支持Python标准库中的HTML解析器还支持一些第三方的解析器lxml,使用的是Xpath...find_all() | find() .text | get_text() string|strings|.stripped_strings
python爬取证监会行政监管措施遭遇 IndexError: list index out of range python 有问必答爬虫
2022-01-25 13:06

回答 3 已采纳 http://www.csrc.gov.cn/searchList/58959eb1bd68458088cac63f46a5fa40?_isAgg=true&_isJson=true&_pageSiz
学习一个爬虫知识遇到TypeError: object of type 'NoneType' has no len()问题，求明白人指点迷津 python 开发语言有问必答爬虫
2022-01-11 22:04

回答 1 已采纳 askURL的return html缩进有问题，放到except外 def askURL(url): head = { #模拟浏览器头部信息，向豆瓣发送消息 "User-
爬虫学习时错误IndexError: list index out of range（列表索引超出范围） python 有问必答
2021-10-01 17:23

回答 1 已采纳去掉break。。要不for下面的append不生效。。而且item是node，需要转为字符串，取消注释item = str(item) 改完上面2步骤后可以了，正常采集有帮助麻烦点个采纳【本回
以下是一个简单的Python爬虫案例，用来从网页上获取信息这个例子使用了Python的requests库进行HTTP请求和Be
2024-06-28 11:36

- 页面链接：使用`soup.find_all('a')`查找所有的`<a>`标签，并遍历输出每个链接的文本和URL。 ##### 3. HTTP协议基础 HTTP（HyperText Transfer Protocol）是一种应用层协议，用于传输超文本，如HTML文档。一个...
python报错：requests.exceptions.ConnectionError: ('Connection aborted.', OSError("(10060, 'WSAETIMEDOUT')")) python 开发语言
2020-03-02 19:59

回答 2 已采纳 10060 WSAETIMEDOUT 是请求超时了，请确认 res = requests.get(url) 这一句请求的地址是否拼接正确，如果是正确的，那就设置超时时间大一点吧。
python3中bs4的使用_python3解析库BeautifulSoup4
2020-11-29 12:31

weixin_39699163的博客 Beautiful Soup的三个特点：Beautiful Soup提供一些简单的方法和python式函数，用于浏览，搜索和修改解析树，它是一个工具箱，通过解析文档为用户提供需要抓取的数据Beautiful Soup自动将转入稳定转换为Unicode编...
bs4中的BeautifulSoup.find_all()函数
2020-07-30 15:03

Maackia的博客 find_all() find_all，顾名思义，就是查询所有符合条件的元素。给它传入一些属性或文本，就可以得到符合条件的元素，返回结果是列表类型。语法格式：find_all( name , attrs , recursive , text , **kwargs ) 各个...
没有解决我的问题, 去提问

问题事件

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
修改了问题 7月11日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
创建了问题 7月11日

悬赏问题

¥20 ESP32使用MicroPyhon开发，怎么获取485温湿度的值，温湿度计使用的鞋子是Modbus RTU
¥50 苹果MGIE项目部署缺少emb权重
¥15 采用ansys进行机翼在特定路径下的打孔过程中的受力分析
¥15 单片机adb主机连接手机，usb调试密钥无法保存
¥15 已知X和Y有以下关系，求X和Y的关系式
¥15 net core 同时编辑怎么防止数据多保存了
¥15 matlab做ba模型让其在ba和er规则下生长
¥15 请问Quartus的Verilog代码怎么写？
¥100 Mac 版foxmail 收邮件问题
¥15 QWebEngineView

关于#python#的问题：使用bs4调用find_all方法总是返回一个空列表这是为什么

1条回答 默认 最新

问题事件

悬赏问题

1条回答默认最新