使用 python 语言 beautifulsoup库编写爬虫
现在想爬取下图中贴吧代码的页数（下图为2）
不知道代码该怎么写
现在写了 tag = soup.find('li', attrs={"class": "l_reply_num"})获取到了
单时不知道怎么往下获取
试了一下 tag.contents
显示错误AttributeError: 'NoneType' object has no attribute 'contents'
求大神指点
beautiful soup 爬虫编写问题
单时不知道怎么往下获取
试了一下 tag.contents
显示错误AttributeError: 'NoneType' object has no attribute 'contents'
求大神指点
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答
- 2021-09-11 14:26回答 2 已采纳
- 2023-02-24 21:28回答 3 已采纳 给你起个头，其它比较容易，一次请求了5000个，多了好像不行，试了9000个都可以，可以分两次 url="http://vip.stock.finance.sina.com.cn/fund_cent
- 2022-01-15 17:29回答 1 已采纳 就是 获取 soup.find_all("script", type="text/javascript") 返回的结果， 取第3个元素的文本。
- 2023-02-14 08:10内容概要： Beautiful Soup是Python中的一个强大...Beautiful Soup有很多优点，如能够按照标签、属性、字符串等方式检索文档，可以修改文档的编码、属性等，在Python爬虫开发中，Beautiful Soup是非常重要的工具之一。
- 2021-12-22 17:33回答 1 已采纳 你这个是VPN代理问题，你可以将VPN设置成部分代理，不要全部代理你的网络。
- 2022-09-08 16:31回答 3 已采纳 你输出con，输出的con是空列表，说明你节点的定位是有问题的，直接去开发者面板复制定位路径
- 2021-06-16 16:50回答 3 已采纳 有两个错误的地方，一是在askURL函数里，不要把return html放到except里,否则没有异常时返回为None，将其写成与try,except对齐；二是在函数 getData里，for循环
- 2023-05-08 14:53Python 使用Beautiful Soup 爬虫教程 Beautiful Soup是一个可以从HTML或XML中提取数据的Python库。它可以通过你喜欢的转换器快速帮你解析并查找整个HTML文档。 Beautiful Soup自动将输入文档转为Unicode编码，输出...
- 2022-08-23 18:15回答 1 已采纳 复制我的代码试试： import requests from bs4 import BeautifulSoup def get_page(link): headers = {'User-Ag
- 2023-03-10 15:16回答 4 已采纳 import requests from lxml import etree import pandas as pd url = 'https://www.jjwxc.net/topten.php
- 2023-02-27 15:28回答 3 已采纳 ..谢邀。页数有点多，就不跑完测了。报错是list index out of range,如果是在371页报的错，跟最后一页条数不够没啥关系。那首先317页和316页有啥区别？ 是317页就不够40条
- 2020-09-21 18:46主要介绍了Python使用Beautiful Soup包编写爬虫时的一些关键点,文中讲到了parent属性的使用以及soup的编码问题,需要的朋友可以参考下
- 2021-11-27 22:00回答 2 已采纳 你检查下这个网页中的内容是不是通过js代码读取外部json数据来动态更新的。requests只能获取网页的静态源代码，动态更新的内容取不到。对于动态更新的内容要用selenium 来爬取。 或者是通
- 2020-09-20 07:15主要介绍了Python 爬虫之Beautiful Soup模块使用指南，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
- 2023-11-21 11:18Python 爬虫入门的教程之Beautiful Soup解析
- 没有解决我的问题, 去提问
