[求助] 请问python抓取网页需要登录，怎么寻找post data？

用python抓取需要登陆的网页，需要post data数据。我用httpfox工具，可以找到登陆豆瓣的post data，如下图

在写脚本的时候，可以知道form_email 和form_password这样的关键词，但是有的网站却不知道怎么找？
有的网站却根本不显示，该怎么办？
谢谢

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
oyljerry 2017-01-14 09:29
关注
有些可能不是用post方式。还可以用浏览器的network工具来观察登录的网络请求

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

使用python requests session模拟登录后无法取得网页的问题 http python 有问必答
2021-08-16 09:06

回答 1 已采纳 import requests url_1 = 'http://www.daweilai211.com/Account/Login' headers = { 'user-agent': '
请问怎样把JS Fetch的网络请求改成用python request实现？ javascript node.js python 有问必答
2022-11-06 20:05

回答 4 已采纳今天看请求头变成token了，改下面的可以 import urllib from urllib import request, parse import json import http.client
python爬虫在pycharm里post返回请求参数错误 python
2022-08-18 16:20

回答 2 已采纳 postman生成代码？
python爬取网页内容post_python爬虫之使用POST抓取网页内容
2020-12-17 02:31

weixin_39639653的博客首先先向小伙伴介绍一下HTTP中GET和POST教小伙伴们写爬虫，通过POST获取网页内容使用POST的原因：GET是不安全的，因为在传输过程，数据被放在请求的URL中，而如今现有的很多服务器、代理服务器或者用户代理都会将...
python使用requests大批量请求卡住怎么解决？ linux python
2019-01-29 16:24

回答 6 已采纳首先你的request最好设置一下超时，如果某个链接长时间没响应，你就会阻塞在那里；然后得百分百确认你的xpath是正确的，且是匹配里面所有url的，这个地方可以打个日志，看看是阻塞在某次循环了，还是
python爬取网站被识别如何解决 python
2021-05-28 19:50

回答 3 已采纳结合 selenium 库来操作。selenium 取到的 cookie 保存成文件，然后你这边 requests 请求的时候，去这个文件里读取最新的 token 值。
python爬虫抓数据，反馈请求成功，但是数据不对，这是为什么 python 爬虫
2022-07-20 16:02

回答 2 已采纳你确定你传的这两个参数能返回出有值的data？
Python模拟登录网站并抓取网页的方法，详细
2021-06-18 21:07

Python分享阁的博客模拟登录的原理通常情况下，用户通过浏览器登录网站时，在特定的登录界面，输入个人登录信息，提交之后便能返回一个包含数据...Post data：当时POST方法时需要 http Response的内容包括以下两项： Html源码或者图片
问一个关于Python抓取页面跳转的问题（略愚蠢。。。） python 爬虫
2016-03-02 13:29

回答 1 已采纳 http://www.zhihu.com/question/23180374
python爬虫爬取数据存储进数据库的问题 flask mysql python
2019-04-22 20:43

回答 3 已采纳首先，我建议你主键最好不要设在userId上。让ID自增长。然后把userId作为一个普通的字段。其次，我个人建议也不要设置外键关系。你可以通过把某一张表的ID放到另一张表里作为关联，但是不建议设
如何使用带有Scrapy的admin-ajax.php从网站上抓取数据 ajax php python
2018-07-11 12:56

回答 1 已采纳 I finally found how to do so, I am sure this is not the best way but at least I did what I wanted
Python网页抓取教程
2021-09-24 14:52

Oxylabs中文站的博客 — Python网页抓取教程:循序渐进 — 抓取网页入门其实挺简单的。在之前的文章中我们介绍了怎么用C#和JAVA两种方法来抓取网页，这一期给大家介绍一种更容易，也是使用最广泛的一种抓取方法，那就是Python。说起...
从JSON文件中提取/抓取特定数据 javascript jquery php python
2011-10-05 21:10

回答 4 已采纳 Python (after you loaded the json) for elem in data: print('{artist} {title} {album} '.format
python采用requests库模拟登录和抓取数据的简单示例
2020-12-24 00:27

如果你还在为python的各种urllib和urlibs，cookielib 头疼，或者还还在为python模拟登录和抓取数据而抓狂，那么来看看我们推荐的requests，python采集数据模拟登录必备利器！这也是python推荐的HTTP客户端库：本文...
python抓取浏览器的cookie_Python抓取需要cookie的网页
2021-03-06 05:52

克莱儿儿儿的博客在仿照《Python小练习：可视化人人好友关系》一文时，需要登录模拟登录人人网。然而自从CSDN事件之后，人人网开始使用加密方式处理登录名和密码，直接使用post方式已经无法登陆人人网。这时，从豆瓣讨论中找到了解决...
没有解决我的问题, 去提问

悬赏问题

¥15 对于相关问题的求解与代码
¥15 ubuntu子系统密码忘记
¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
¥15 保护模式-系统加载-段寄存器
¥15 电脑桌面设定一个区域禁止鼠标操作
¥15 求NPF226060磁芯的详细资料
¥15 使用R语言marginaleffects包进行边际效应图绘制
¥20 usb设备兼容性问题
¥15 错误(10048): “调用exui内部功能”库命令的参数“参数4”不能接受空数据。怎么解决啊
¥15 安装svn网络有问题怎么办