2 hurmishine hurmishine 于 2016.03.20 00:58 提问

如何用Python爬取贴吧所有图片(而不只是第一页) 1C

如题!由于兴趣刚开始自学python网络爬虫,网上看到了爬取百度贴吧图片的代码,但发现只能爬取第一页的,而不能所有页的,该怎么解决?

1个回答

caozhy
caozhy   Ds   Rxr 2016.03.20 07:03

你需要根据第一页得到指向第二页的链接,然后继续抓取第二页。“百度贴吧”要求你登录才能显示第二页以及以后的页。

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
Python爬取贴吧多页图片
Python爬取贴吧图片都只能爬取第一页的,加了循环也不行,现在可以了。 #coding:utf-8 import urllib import urllib2 import re import os # 将正则表达式编译成Pattern对象 rex=r'src="(http://imgsrc.baidu.com/forum/w%3D580.*?\.jpg)"'; root = "D:\\tu
Python爬虫__爬取贴吧图片和文本
1. 爬取图片1.1 前言这是一个李清照吧http://tieba.baidu.com/p/3825973883 里面有楼主上传的书法作品,每一楼的格式大致是这样,文本加上书法图片: 我当年年少,还不知道爬虫这个东西,又想把书法图片保存下来,于是一张张地把图片另存为,现在用爬虫来爬取每一楼的书法图片,解放一下人力:1.2 爬取图片的流程可以总结如下:1)爬取网页的html代码;
用Python 爬虫爬取贴吧图片
之前一直在看机器学习,遇到了一些需要爬取数据的内容,于是稍微看了看Python爬虫,在此适当做一个记录。我也没有深入研究爬虫,大部分均是参考了网上的资源。先推荐两个Python爬虫的教程,网址分别是http://cuiqingcai.com/1052.html 和 http://ddswhu.com/2015/03/25/python-downloadhelper-premium/ ,我就是看这两个
《python爬虫实战》:爬取贴吧上的帖子
《python爬虫实战》:爬取贴吧上的帖子经过前面两篇例子的练习,自己也对爬虫有了一定的经验。 由于目前还没有利用BeautifulSoup库,因此关于爬虫的难点还是正则表达式的书写。但是,当写几个正则表达式之后,发现还是有一定的规则可循的,只要我们的目的明确,想得到网页的什么,我们就直接在该网页上,找到我们想要的内容在html代码中出现的格式是怎么样的。例如,我们想获取贴吧上帖子的标题。 解决
python3 多页爬虫爬取百度贴吧帖子所有图片
逛博客,发现了python。说是人工智能开发的主要语言,所以就来了兴趣,打算抽空看看。网上找了教程觉得语法上,相较于.net和java反倒更简单点。基本语法看完,总要弄点东西吧
Python爬取某贴吧第一页的所有帖子的标题、连接、作者,将数据储存到txt文件中
学习网络爬虫的第二个程序:#-*- coding:utf-8 -*- #import re import urllib from bs4 import BeautifulSoup import urlparse #处理url链接的库 import chardet #字符集检测 import sys #解决UnicodeEncodeError: 'ascii' codec can't
第一个Python3.0 爬虫程序, 爬取百度贴吧图片
第一个Python3.0 爬虫程序, 爬取百度贴吧图片 基于python 3.0  #print("hello222") # coding= utf-8 import urllib.request import re def getHtml(url): page = urllib.request.urlopen(url) html = page.read()
python3爬取贴吧图片(翻页+模拟浏览器)
利用python3 爬取贴吧图片 并且实现翻页功能 模拟浏览器 通过bs4,requests库和正则表达式 爬取图片并现在到本地硬盘中 爬虫第一课
Python2.7 自动抓取某贴吧所有帖子的图片
自动抓取某贴吧所有帖子的图片
[Python]实战——百度贴吧爬虫
网络爬虫(Web Spiders)是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。半年前,我接触了Lucene搜索引擎开发——开始了网络爬虫之旅;当时,采用的是纯JAVA开发环境,对百度某吧几百万帖子进行了全面爬取。那时候我对Python一点都不了解,今天对《Pyhon基础教程:第2版·修订版》以及极客学院相关视频进行了学习,形成了本文。 Key Word