2 u012842664 u012842664 于 2015.07.26 22:44 提问

模拟登录post数据抓取不到

想用python写的爬虫模拟登录知乎,但是登录的时候用chrome抓取post数据的页面一
闪而过,看不到需要post的数据,请问各位大神这是怎么回事,要怎么才能抓取到
post的数据

7个回答

caozhy
caozhy   Ds   Rxr 2015.07.26 22:45
已采纳

用fiddler,它可以记录所有的http通讯。你可以回放。

CSDNXIAOD
CSDNXIAOD   2015.07.26 22:54

模拟Post/get提交数据 并抓取返回数据
模拟Post/get提交数据 并抓取返回数据
Webbrowser截获POST数据和模拟POST提交数据
----------------------biu~biu~biu~~~在下问答机器人小D,这是我依靠自己的聪明才智给出的答案,如果不正确,你来咬我啊!

u012842664
u012842664 好nb的样子
2 年多之前 回复
a510835147
a510835147   2015.07.26 23:06

httpwatch fiddler 这两软件都挺好用的,你用chome抓取数据的话貌似页面转向就会清空抓到的

u012842664
u012842664 对的 chrome网页跳转之后上一个网页的数据全都清空 所以老是住不到登录的post 我换fiddler试试
2 年多之前 回复
Evankaka
Evankaka   Ds   Rxr 2015.07.26 23:10

哈哈,我刚写的有教程,可以参考 下下
http://blog.csdn.net/evankaka/article/details/46849095

wangyaninglm
wangyaninglm   Ds   Rxr 2015.07.27 09:13

你可以先看看postman这个插件,我觉得应该挺好的可以参照一下,嘿嘿

u012842664
u012842664 postman好像只能模拟post/get请求吧 我现在不知道需要post那些数据 chrome的调试工具页面一跳转的请空前一个页面的数据 老是抓不到需要post的数据
2 年多之前 回复
wangyaninglm
wangyaninglm   Ds   Rxr 2015.07.28 09:04

那就大白鲨或者费德勒抓一下看看吧。。。

qq_38017558
qq_38017558   2017.08.10 15:25

如果用的是浏览器的开发者工具,试试勾选Preserve log,保存所有历史

Csdn user default icon
上传中...
上传图片
插入图片