Python爬虫时提交表单时总是跳转到登陆界面

使用Python的request进行post表单提交时,传递的参数都是对的,但是总是会跳转到登陆界面
1、代码
图片说明
2、使用Fillder抓包抓取的数据
图片说明
3、最后返回的登录结果
图片说明

3个回答

估计还有其他cookie等信息没有提交正确,所以服务器判断你没登录

qq_28031525
Vico_Men 模拟登陆的过程中,提交表单信息给目标页面,没有涉及到cookie的信息啊,感觉也不需要cookie吧?
接近 3 年之前 回复

很明显没有cookie信息 要么就是没登陆成功 要么就是你没有保存cookie

Mad_Geek
Mad_Geek 回复Vico_Men: 有的时候单点登录 就是登陆域名和你访问的域名是不同的子域名就需要cookie来进行跨域,还有就是他服务器通过session来进行保存你的用户状态的话 你肯定不能用代理 还有就是 你获取到cookie后要保存下来然后再每一次请求的时候都要带上 不一定是登陆状态,也许他在cookie中存了其他参数
接近 3 年之前 回复
qq_28031525
Vico_Men 我懂你的意思,就是先登录,然后抓包获取cookie,放到程序中再提交,跳转到目标页面,这应该是‘保持登录’。我想问的是:‘模拟登录’的实现中,不使用cookie,直接提交表单给目标页面不可以么?
接近 3 年之前 回复
wds2006sdo
wds2006sdo 回复Vico_Men: 是有这个问题,因为我的数据量不大一次都能爬完
接近 3 年之前 回复
qq_28031525
Vico_Men 感谢推荐。看了你的博客,这样会不会有个问题就是cookie过期,需要每次都要手动登录一次,再通过程序爬取内容
接近 3 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Python爬虫模拟登录失败,重定向到登录页面解决方法。
今天尝试模拟登录一个网站,由于要爬的页面必须登录才能访问,所以我用requests.Session()来保持Cookie,再访问要爬的页面。但是这个爬虫有时模拟登录成功,有时失败,很奇怪。测试是否登录成功的代码片段如下: account_page = 'https://example.com/mypage' response = session.get(account_page) ...
爬虫遇到重定向问题
  笔者使用python2.7+requests编写爬虫,以下问题针对此情况讨论。 笔者编写的搜索引擎爬虫在爬取页面时遇到了网页被重定向的情况,所谓重定向(Redirect)就是通过各种方法(本文提到的为3种)将各种网络请求重新转到其它位置(URL)。每个网站主页是网站资源的入口,当重定向发生在网站主页时,如果不能正确处理就很有可能会错失这整个网站的内容。 笔者编写的爬虫在爬取网页时遇到了三...
记一次Pyhthon爬虫其之一——提交表单、模拟登录
使用python进行带验证码的表单提交与模拟登录,其中使用到了cookie自动获取与管理、head与data的获取与构造。
登陆后跳转登录前界面
J2EE实现登录后自动跳转到登录前访问的页面 分类: Java 实习笔记2011-11-18 22:13 819人阅读 评论(0) 收藏 举报 stringfunctionxhtmlstrutsservletsession 摘自CSDN   获取当前访问URI并保存于session中: [java] view plaincopy String
Python需要提交表单爬虫
Python爬虫的时候需要提高表单,使用post提交表单的速度比较慢,因此可以先找到要提交的表单数据。 网址如下:https://www.hqms.org.cn/usp/roster/index.jsp打开网址查看源代码,发现只有<option value="7180">北京市</option> <op
iOS 如何跳转到登录界面
iOS 如何跳转到登录界面
锚点 JS控制div跳转到指定的位置的几种解决方案总结
总结一下自己在写这个需求遇到的问题,相信大家应该是经常遇到的。即要求滚轮滚动到指定的位置。先看下基本的解决方案。1.给链接a加个#的方式来实现跳转。(锚点方法)这里直接贴下代码:?12345678&amp;lt;div id=&quot;container&quot;&amp;gt;    &amp;lt;a href=&quot;#div1&quot;&amp;gt;div1&amp;lt;/a&amp;gt;    &amp;lt;a href=&quot;#div2&quot;&amp;gt;div2
dwz表单提交后跳转到另外的navTab
1.场景 在某navTab中提交form,成功后需要跳转到另外一个navTab。 2.版本 1.4.3 3.解决方案 其实这块东西在官方文档上已经有说明,我在这里记录的主要目的是为了下次迅速解决问题,具体方法如下: 1)添加回调 onsubmit="return validateCallback(this,navTabAjaxDone);" 2)后台返回
关于爬取图片时遇到下载盗链图的解决方式
在写爬虫爬取图片时,经常会碰到盗链图的产生,无法打开,这是网站设置的反爬机制之一。为了解决这类问题,需要在头文件headers中添加Referer属性值,目的是告诉服务器当前请求是从哪个页面请求过来的'Referer':'网址'Picreferer = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (K...
DEDE自定义表单点击提交后,如何直接跳转到当前提交页?
找到/plus/diy.php这个文件修改以下代码 将 $goto = !empty($cfg_cmspath) ? $cfg_cmspath : '/'; $bkmsg = '发布成功,现在转向表单列表页...';
form表单提交时跳转到空白页面问题
前两天在带实习的时候,学生让我看错误的时候。每次form表单提交时总是跳转到一个空白页面 无论换什么身份登录都是一样 自己由于太粗心,找了半天没有发现问题所在 实在尴尬。最后才找到。 问题所在· form表单提交时跳转到空白页面,是因为Struts2在执行方法时。方法的返回类型是String类型 但是在返回时 返回了 NULL return  null; 所以 会跳转到空白
angularjs-route路由总是跳到登陆(欢迎)页面
是因为页面开头有这个配置,把所有页面的这个都去掉就好了 <base href="<%=basePath%>"> 加上这个配置,即使写 href=”#” 也不会跳本页面,而是跳回index.jsp
天猫淘宝登陆页面无限循环 解决办法
原文链接 1、选项-隐私-历史记录,移除单个cookie,搜索taobao,点全部移除; 2、把taobao全部清除后再搜索tmall,点全部移除; 3、重启火狐。
Struts提交ifream中的表单后,离开子页面, 跳转到父页面
现在的用户注册界面以弹框的xin
iframe里表单提交怎么样整个页面跳转
iframe里表单提交怎么样整个页面跳转? 只需在form 里加上target="_parent"即可
爬虫解决网页重定向问题
1.服务器端重定向,在服务器端完成,一般来说爬虫可以自适应,是不需要特别处理的,如响应代码301(永久重定向)、302(暂时重定向)等。具体来说,可以通过requests请求得到的response对象中的url、status_code两个属性来判断。当status_code为301、302或其他代表重定向的代码时,表示原请求被重定向;当response对象的url属性与发送请求时的链接不一致时,也
jsp跳转到servlet 出现 404 路径错误的问题解决办法
转载只为收集学习使用 侵删。
session过期跳转到登陆页面并跳出iframe框架的最简单方法
web开发中经常会有这种情况,在一个主页面中包含侧边导航菜单和iframe,点击菜单项,对应页面会在iframe中显示,整个页面不会刷新。但是如果设置了会话Session,在会话过期后再操作会自动redirect重定向到登录页面,经常会出现在session过期后,再点击菜单项,登录页面显示在iframe中而非显示在当前窗口的情况。还有一种的情况是使用的拦截器去拦截全部请求 判断是否有用户登陆 如果...
android跳转登陆界面
android跳转登录界面,一般来说登陆界面是在登录的时候就已经销毁掉的,此时需要回到登录界面需要移除现有的所有activity,并且需要重新创建新的登录界面,这时候,可以在intent中增加Flag(FLAG_ACTIVITY_CLEAR_TASK),可以清除现存在此Task中的所有activity,再增加Falg(FLAG_ACTIVITY_NEW_TASK) Intent intent
form表单提交,用submit方法并且跳到指定页面或不跳转
开发环境后台Java 后台根据提交的整个表单,通过name名对应的value值; 项目申请表 负责人姓名* 性别   女       男 联系邮箱*
[python网络爬虫]表单和登陆爬虫
当你想编写更为复杂的网页爬虫的时候,你面临的第一个问题也许会是:“如何获取登陆页面后的信息?”,因为网络已经飞快地向互动、社交媒体、用户生成内容方向发展。表格和登陆就成为这些类型网站几乎不可或缺的主要组成。幸运的是,表单和登陆还是相对比较容易处理的。 截至当前,在我们之前的爬虫示例中,绝大部分与服务器的交互都是采用了HTTP GET方式去获取信息的。而在本章,我们所关注的是如何通过POS
Android 跳转至需要登录的页面
在未登录状态下跳转至一个必须先登录的页面,先跳转至登录页面,登录成功后跳转至目标页面。这种情况下,可以直接用startActivityForResult启动intent,在回调方法中处理,这个是基本思路。从封装的角度,可以将普通跳转和先登录再跳转封装起来。 第一: 在AndroidManifest.xml文件中利用 meta-data 设置进入界面是否需要先登录 <activity
php提交表单时弹出请稍等,或者是一直转的图片,处理成功之后跳转的js代码
点击之后,生成笼罩层,用户就不能点击其他的, 也增加了用户体验度。 总的代码:下面来再分析 test 提交试试 $('#createfrom').ajaxsubmit({success:function(ret){ window.location.href=
把百度设置为搜索引擎后总是跳转到百度首页的解决办法
1、首先找到设置 2、然后点击管理搜索引擎 3、打开管理搜搜引擎后,自己填写一个搜索引擎,1和2的两个空格可以随意写,第三个空格填写 http://www.baidu.com/s?tn=mswin_oem_dg&ie=utf-16&word=%s 4、然后把刚才填写的设为默认的搜索引擎就可以了
swift 登录界面跳转
要求:未登录客户端首先显示登录界面,如果登录了现实主界面在AppDelegate中:if isLogin{     self.window?.rootViewController = MainViewController() }else{     self.window?.rootViewController = LoginViewController() }在LoginViewControlle...
在PHP增删改查里面遇到的SUBMIT表单之后的文件跳转问题
在使用HTML表单的时候遇到了“submit”行为之后不知道怎么解决文件跳转的问题。 经过一段时间的百度,有说用if语句的,有说用js语句。     https://zhidao.baidu.com/question/582548050112170485.html ?> 但是实践之后没有解决实际上的跳转问题,可能是只能跳转url网页不能直接跳转到projects里面的PHP文件。于
Servlet-从form表单跳转到另一Servlet做验证等操作实现方法
index.jsp 验证码: 此处一定要在表单中写入method标签,否则不好使 web.xml validate com.servlet.ValidateServlet validate /validateServlet com.servl
使用IDEA时跳转到.class的解决办法
项目背景:jdk1.8软件环境:IDEA问题:两个不同的项目,在A项目中写了一个实体类。B项目中引用。我想修改下实体类的内容,就在在B项目中CTRL+鼠标左键点击进入,正常情况下是进入了源码文件,也就是.JAVA文件。偏偏就跳转到了实体类的.class文件,而不是源码文件解决方法:进入.class文件后,顶端会有一个黄色的显示条。两个选项:Download Sources  和 Choose So...
用户登录后跳转到 登录前 的页面 url 跳转
在一般有用户登录的网站中,都会有需要用户登录后才能操作的页面,如果在用户登录后能跳转到之前的页面,就会给用户一个很好的体验,也能让他们更容易的浏览要操作的页面。这中间主要用到的是获取Url参数,获取后用于跳转。主要实现步骤:为了能很好的说明,主要已两个页面为例,order.aspx,login.aspx1、order.aspx,实现订单页面,主要功能是实现用户在选定商品时提交订单,但用
python 爬虫之模拟简单表单提交
为什么要模拟表单提交 现在许多的网站都是需要登录验证后才能访问该网站的页面,爬虫(网络机器人【spider】)该怎么获取这些页面呢!是的,爬虫也是需要登录的,才能获取到后面的页面。 爬虫怎么模拟表单登录 复杂的办法,先爬取登录界面,得到登录表单需要的数据 import requests from bs4 import BeaytifulSoup def main(): r...
在session过期后如何跳转到登录页面
最近在使用easyui时在页面嵌套了ifream,我在后台做了session的处理当session过期时要自动跳转到登录页面,但由于是在ifream中跳转页面,结果跳转出来的登录页面嵌套在ifream中,这个肯定是不行的,我以为是后台的处理有问题结果处理了半天都没有解决这个问题,最后在网上找到了解决方法,原理就是在登录页面加载的时候判断当前路径是不是顶级路径如果不是得话,就修改当前路径为顶级路径
struts2验证出错总是跳转到input
先贴代码: applicationContext.xml: struts.xml /index.jsp /login.jsp
Python模拟登录和登录跳转
利用Python模拟登录及爬取数据学习路径
python-scrapy教程(二):网页跳转
我们接着上一教程开始讲解scrapy中网页的跳转 首先,先看我们要采集的网站:优酷list列表--http://list.youku.com/category/show/c_96_r_2017_s_1_d_1_p_1.html 我们所要采集的信息呢在这个详情页 这个详情页是通过播放页的节目简介这儿的入口进入的 接下来我们看看代码(只需要在教程一中的代码进行修改):
提交表单时,用到的action跳转的方法有两种方法
1.  2.
从HTTPS协议的网址跳转到HTTP协议的网址
右键点击Chrome的快捷方式,在其“属性”的“快捷方式”选项卡中,将“ --allow-running-insecure-content”加到“目标”文本框的最后面即可(注意前面有个空格)。重新打开Chrome,就不会再看到“不安全内容”的提示了,同时HTTPS协议下的网站也访问HTTP协议的接口了。...
提交表单用ajax判断登录正确再跳转页面的方法二
用submit()方法,注意.btn这个input元素的type不能设置为submit,而是要设置为button 区别: 利用submit()跳转页面,则form的action要设置为某个具体的页面,且点击的按钮的type是button 利用location.href跳转页面,则form的action为空,在location.href里指定具体页面,点击的按钮的type是submit
如何关闭登录界面并跳到另一个界面
要求:有 2个窗口:登录(FornLogin),主界面(FornMain),系统启动时先出现 FormLogin,用户名和密码正确后启动主界面,并关闭 FormLogin 实现:1)设置 My Project :设置启动窗体为 FormLogin,关机模式为最后1个窗体关闭时;             2)FormLogin 的登录按钮的代码                   Privat
python笔记 爬虫经常出现的错误UnicodeEncodeError
UnicodeEncodeError: ‘gbk’ codec can’t encode character u’\xa0’ in position 3621: illegal multibyte sequenceimport cookielib, urllib2,urllib,sys from bs4 import BeautifulSoup response = urllib2.urlope
python爬虫(二):向网页提交数据
python爬虫(二):向网页提交数据回忆一下,我们有的时候在看一些网站的时候,是否遇见过一些网站里面的信息开始显示一部分,然后当我们把鼠标滑轮向下拉动后,又显示出一些信息。这就是异步加载。我的上一篇文章python爬虫百度贴吧标题数据爬取的所有标题都是页面已经加载好的。但是对于这种开始没有加载好的数据我们应该如何爬取呢?接下来我们先介绍下一些概念: 异步加载:举个简单的例子就是说,假如老师判作业,
相关热词 c# 应用r包 c# excel格式刷 c# 监控word保存 c#中字符串排序 c# 打印方向 c# 获取根目录 c#语言文档 c#设置开机自启动 c# cpu id 主板 c# timer越来越卡