[求助] 请问python抓取网页需要登录，怎么寻找post data？

用python抓取需要登陆的网页，需要post data数据。我用httpfox工具，可以找到登陆豆瓣的post data，如下图

在写脚本的时候，可以知道form_email 和form_password这样的关键词，但是有的网站却不知道怎么找？
有的网站却根本不显示，该怎么办？
谢谢

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
oyljerry 2017-01-14 09:29
关注
有些可能不是用post方式。还可以用浏览器的network工具来观察登录的网络请求

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

使用python requests session模拟登录后无法取得网页的问题 http python 有问必答
2021-08-16 09:06

回答 1 已采纳 import requests url_1 = 'http://www.daweilai211.com/Account/Login' headers = { 'user-agent': '
请问怎样把JS Fetch的网络请求改成用python request实现？ javascript node.js python 有问必答
2022-11-06 20:05

回答 4 已采纳今天看请求头变成token了，改下面的可以 import urllib from urllib import request, parse import json import http.client
python爬虫在pycharm里post返回请求参数错误 python
2022-08-18 16:20

回答 2 已采纳 postman生成代码？
python爬取网页内容post_python爬虫之使用POST抓取网页内容
2020-12-17 02:31

weixin_39639653的博客首先先向小伙伴介绍一下HTTP中GET和POST教小伙伴们写爬虫，通过POST获取网页内容使用POST的原因：GET是不安全的，因为在传输过程，数据被放在请求的URL中，而如今现有的很多服务器、代理服务器或者用户代理都会将...
python使用requests大批量请求卡住怎么解决？ linux python
2019-01-29 16:24

回答 6 已采纳首先你的request最好设置一下超时，如果某个链接长时间没响应，你就会阻塞在那里；然后得百分百确认你的xpath是正确的，且是匹配里面所有url的，这个地方可以打个日志，看看是阻塞在某次循环了，还是
python爬取网站被识别如何解决 python
2021-05-28 19:50

回答 3 已采纳结合 selenium 库来操作。selenium 取到的 cookie 保存成文件，然后你这边 requests 请求的时候，去这个文件里读取最新的 token 值。
python爬虫抓数据，反馈请求成功，但是数据不对，这是为什么 python 爬虫
2022-07-20 16:02

回答 2 已采纳你确定你传的这两个参数能返回出有值的data？
Python模拟登录网站并抓取网页的方法，详细
2021-06-18 21:07

Python分享阁的博客模拟登录的原理通常情况下，用户通过浏览器登录网站时，在特定的登录界面，输入个人登录信息，提交之后便能返回一个包含数据...Post data：当时POST方法时需要 http Response的内容包括以下两项： Html源码或者图片
问一个关于Python抓取页面跳转的问题（略愚蠢。。。） python 爬虫
2016-03-02 13:29

回答 1 已采纳 http://www.zhihu.com/question/23180374
python爬虫爬取数据存储进数据库的问题 flask mysql python
2019-04-22 20:43

回答 3 已采纳首先，我建议你主键最好不要设在userId上。让ID自增长。然后把userId作为一个普通的字段。其次，我个人建议也不要设置外键关系。你可以通过把某一张表的ID放到另一张表里作为关联，但是不建议设
如何使用带有Scrapy的admin-ajax.php从网站上抓取数据 ajax php python
2018-07-11 12:56

回答 1 已采纳 I finally found how to do so, I am sure this is not the best way but at least I did what I wanted
Python网页抓取教程
2021-09-24 14:52

Oxylabs中文站的博客 — Python网页抓取教程:循序渐进 — 抓取网页入门其实挺简单的。在之前的文章中我们介绍了怎么用C#和JAVA两种方法来抓取网页，这一期给大家介绍一种更容易，也是使用最广泛的一种抓取方法，那就是Python。说起...
从JSON文件中提取/抓取特定数据 javascript jquery php python
2011-10-05 21:10

回答 4 已采纳 Python (after you loaded the json) for elem in data: print('{artist} {title} {album} '.format
python采用requests库模拟登录和抓取数据的简单示例
2020-12-24 00:27

如果你还在为python的各种urllib和urlibs，cookielib 头疼，或者还还在为python模拟登录和抓取数据而抓狂，那么来看看我们推荐的requests，python采集数据模拟登录必备利器！这也是python推荐的HTTP客户端库：本文...
python抓取浏览器的cookie_Python抓取需要cookie的网页
2021-03-06 05:52

克莱儿儿儿的博客在仿照《Python小练习：可视化人人好友关系》一文时，需要登录模拟登录人人网。然而自从CSDN事件之后，人人网开始使用加密方式处理登录名和密码，直接使用post方式已经无法登陆人人网。这时，从豆瓣讨论中找到了解决...
没有解决我的问题, 去提问

悬赏问题

¥60 版本过低apk如何修改可以兼容新的安卓系统
¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
¥50 有数据，怎么建立模型求影响全要素生产率的因素
¥50 有数据，怎么用matlab求全要素生产率
¥15 TI的insta-spin例程
¥15 完成下列问题完成下列问题
¥15 C#算法问题, 不知道怎么处理这个数据的转换
¥15 YoloV5 第三方库的版本对照问题
¥15 请完成下列相关问题！
¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像，如何解决？