2 oopsangle oopsangle 于 2014.05.20 16:15 提问

python 解析贴吧网页的时候获得的第一页非第一页页面源码基本一样

url = 'http://tieba.baidu.com/p/3054674079?pn=1'
url2='http://tieba.baidu.com/p/3054674079?pn=2'
urllib.request.urlretrieve(url,"G:/tieba.html")
通过这两个url下载的html源码基本上一致?为什么会这样呢?如果想像浏览器一样不同页数的源码不一样要怎么办?
header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:28.0) Gecko/20100101 Firefox/28.0','Content-Type':'application/x-www-form-urlencoded;charset=utf-8'}
模拟浏览器请求头好像也不行?

1个回答

oyljerry
oyljerry   Ds   Rxr 2014.12.26 21:17

还要抓包分析一下,应该是header或者其他数据不对。服务端返回数据一样

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
Python爬取贴吧多页图片
Python爬取贴吧图片都只能爬取第一页的,加了循环也不行,现在可以了。 #coding:utf-8 import urllib import urllib2 import re import os # 将正则表达式编译成Pattern对象 rex=r'src="(http://imgsrc.baidu.com/forum/w%3D580.*?\.jpg)"'; root = "D:\\tu
JS返回浏览器历史第一页
为什么会有这个需求: 原生APP内嵌网页 我没法关闭Android webview浏览器,IOS可以, 安卓不可以是因为以前的版本没加这个功能。但是现在安卓不可以发版本,如果发版本又被老板叼一顿,说什么每次都要升级版本才能解决问题。 我们做了一个网页支付,他是APP内嵌网页进行的。 那肯定会有填写资料 下一步 下一步。 现在的问题是到最后一步点击完成,网页直接控制关闭APP webview浏
PHP分页方法,支持第一页与其他页个数不一样的情况
比如 第一页是9个,其他页是12的
[Python]实战——百度贴吧爬虫
网络爬虫(Web Spiders)是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。半年前,我接触了Lucene搜索引擎开发——开始了网络爬虫之旅;当时,采用的是纯JAVA开发环境,对百度某吧几百万帖子进行了全面爬取。那时候我对Python一点都不了解,今天对《Pyhon基础教程:第2版·修订版》以及极客学院相关视频进行了学习,形成了本文。 Key Word
使用分页模板完成,显示上一页,下一页,第一页,最后一页,和当前第x页,共y页 。
博客内容列表前台:         AutoGenerateColumns="False" DataKeyNames="sid"          onrowdatabound="GridView2_RowDataBound" PageSize="3"          onpageindexchanging="GridView1_PageIndexChanging" ShowFoote
页面当含有多条数据时,跳转到第二页时,无法选择第二页数据记录解决
jquery新增了一个.on()方法来给元素绑定事件,具体用法如下: on(events,[selector],[data],fn) . 代码如下: $("#dataTable tbody tr").on("click", function(event){ alert($(this).text()); }); 上面这中方法对所有的这个tr绑定了事件,但是对于新
Python爬取某贴吧第一页的所有帖子的标题、连接、作者,将数据储存到txt文件中
学习网络爬虫的第二个程序:#-*- coding:utf-8 -*- #import re import urllib from bs4 import BeautifulSoup import urlparse #处理url链接的库 import chardet #字符集检测 import sys #解决UnicodeEncodeError: 'ascii' codec can't
python爬取贴吧HTML页面内容
请求解惑,谢谢大佬。
easyui查询后返回第一页数据
function setFirstPage(ids){ var opts = $(ids).datagrid('options'); var pager = $(ids).datagrid('getPager'); opts.pageNumber = 1; opts.pageSize = opts.pageSize; pager.pagination('refre
Extjs Grid翻页后再刷新无法回到第一页
在用ExtJs的时候经常需要使用Grid来显示数据,当数据过多时就需要翻页。Ext的Ext.PagingToolbar翻页提供了一个UI,真正的翻页是在store里面进行的。做翻页的时候会碰到很多问题,比如,翻页到第二页后看到第一页的重复数据;翻到第二页后再点击toolbar里面的查询按钮会看到页面停在第二页等问题。