如何解决爬取百度贴吧只爬到了第一页的内容还打不开
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2021-12-18 19:23回答 1 已采纳 爬下一页就好了
- 2022-10-18 21:52回答 1 已采纳 图片是从cdn上过来的，做了防盗链。在headers中添加Refer，指向该网站就行了。 import re import requests import os if not os.path.ex
- 2021-10-18 19:17回答 2 已采纳 代码这样修改一下，应该可以，代码中为了测试将Item写成了一个类，你可以去掉它，用导入语句： import scrapy class MovieItem(scrapy.Item): name=
- 2020-11-21 02:40weixin_39816062的博客 大家好，上次我们实验了爬取了糗事百科的段子，那么这次我们来尝试一下爬取百度贴吧的帖子。与上一篇不同的是，这次我们需要用到文件的相关操作。本篇目标对百度贴吧的任意帖子进行抓取指定是否只抓取楼主发帖内容将...
- 2021-10-24 09:44回答 1 已采纳 爬取内容不完整，应该是文档的更多内容，要往下滑动页面才会出现这个不太清楚，应该不是什么反爬，就是类似于中途给你弹出个广告，要具体分析怎么弄VIP内容肯定是需要你的账号是VIP才能看得到的，与selen
- 2022-01-27 12:25回答 4 已采纳 图片是js解析出来的，xpath无效，数据在js变量里面，正则提取下数据用json.loads加载获取 代码如下 import requests import re import json def
- 2022-05-12 17:10回答 2 已采纳 因为他是异步加载的。 解决方法：1、一般爬取到的内容和网页上的不一样，可能是请求异常或者是异步加载导致的，需要去定位数据来源。2、打开控制台全局搜索151.4，发现没结果，那么继续搜索1514，发现有
- 2020-12-25 10:32本文实例讲述了基于Python实现的百度贴吧网络爬虫。分享给大家供大家参考。具体如下： 完整实例代码点击此处本站下载。 项目内容： 用Python写的百度贴吧的网络爬虫。 使用方法： 新建一个BugBaidu.py文件，然后将...
- 2021-08-11 23:59回答 2 已采纳 你是真的秀，没有请求图片地址获得数据肯定打不开啊，你写入的是列表的的文本的二进制，并不是图片的。应该在图片链接后面再请求一次图片网址，然后写入获得的响应数据的二进制内容，望采纳哈
- 2021-05-09 14:36回答 4 已采纳 Network中找不到试试在doc里面能不能找到
- 2019-10-18 08:20回答 3 已采纳 爬虫内容解析比较方便的不是正则而是 xpath ，语法也很容易，建议试试这种： ``` from lxml import etree # 解析页面的模块 html = etree.HTML
- 2020-12-24 09:30百度贴吧的爬虫制作和糗百的爬虫制作原理基本相同，都是通过查看源码扣出关键数据，然后将其存储到本地txt文件。 项目内容： 用Python写的百度贴吧的网络爬虫。 使用方法： 新建一个BugBaidu.py文件，然后将代码...
- 2021-04-03 09:45回答 4 已采纳 问题出在urls构造上，第一页和后续网页的地址是不一样的，将这行改为：urls = [f'https://cnblogs.com/#p{page}' if page == 1 else f'https
- 2021-01-30 00:10weixin_39588911的博客 Python笔记1、Python3和Pycharm2018的安装2、Python3基础语法2.1.1、数据类型2.1.1.1、数据类型：数字(整数和浮点数)整数：int类型浮点数：float类型。2.1.1.2、数据类型：字符类型2.1.1.3、数据类型：布尔类型True...
- 2020-12-17 12:03weixin_39913105的博客 最近开始看一些Python爬虫相关的知识，就在网上找了一些简单已与练习的一些爬虫脚本实现功能：1，读取用户想要爬取的贴吧2，读取用户先要爬取某个贴吧的页数范围3，爬取每个贴吧中用户输入的页数范围内的每个帖子的...
- 没有解决我的问题, 去提问
问题事件
系统已结题
10月28日
创建了问题
10月20日
悬赏问题
- ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
- ¥30 截图中的mathematics程序转换成matlab
- ¥15 动力学代码报错，维度不匹配
- ¥15 Power query添加列问题
- ¥50 Kubernetes&Fission&Eleasticsearch
- ¥15 報錯：Person is not mapped，如何解決？
- ¥15 c++头文件不能识别CDialog
- ¥15 Excel发现不可读取的内容
- ¥15 关于#stm32#的问题：CANOpen的PDO同步传输问题
- ¥20 yolov5自定义Prune报错，如何解决？