有一个问题就是我发送一个POST，然后里面的data采用抓包抓到的数据进行构建，但是我发现我这个包与自己手动发的包数据不同啊，手动发的包里面是aoData=%5B%7B%22…… 但是我用python发的显示TextView为aoData=%255B%257B%2522……，可是我requests.post的data的构建就是{'aoData':'%5B%7B%22……'}啊,抓包软件用的是Fiddler 4.新人请大佬们多多帮助。
关于python爬取教务网站,requests模块？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2022-04-29 10:30回答 1 已采纳 需要在浏览器上临时显示后端实时处理的图像，需要将图像数据转成json字符串传输给js绘图。 后端python处理： import cv2 as cvfrom encodings import base
- 2021-05-28 19:50回答 3 已采纳 结合 selenium 库来操作。selenium 取到的 cookie 保存成文件，然后你这边 requests 请求的时候，去这个文件里读取最新的 token 值。
- 2022-10-06 15:37回答 1 已采纳 拿去 import requests from bs4 import BeautifulSoup url_list = [] option_one = [] option_two = [] op =
- 2020-12-03 03:30weixin_39564036的博客 登陆：通过抓包，发现需要提交的值 需要值lt，这是个啥，其实他在访问登陆页面时就产生了 session=requests.Session()response= session.get(login_url, headers=header)cookies=response.cookiesfor c incookies...
- 2021-08-06 11:29回答 1 已采纳 cookie目的就是为了保存登录状态，即基于cookie模拟登录，headers中带上了cookie就是相当于在登录状态请求页面了，所以直接请求登录后要请求的页面即可。
- 2022-10-18 21:52回答 1 已采纳 图片是从cdn上过来的，做了防盗链。在headers中添加Refer，指向该网站就行了。 import re import requests import os if not os.path.ex
- 2020-02-17 22:52回答 4 已采纳 爬取需要在请求头里面添加Host，要不然爬取不到任何信息，另外源码是不规则的html代码，所以需要指定html解析器 ``` # -*- coding：utf-8 -*- import os
- 2021-02-04 05:49weixin_39849479的博客 扯闲：说在前面的废话: 又开学了，我要好好学习，想找个空教室自习真不容易(虽然有书院，但是人多啊，找个没人的教室自习多好~)，一楼一楼的...缺点如果教务系统更新了，原来的就不能用了(课表都变了，你还咋用2333...
- 2021-04-28 23:28回答 2 已采纳 这是在升级pip到最新版后出现的问题，建议降低版本到21.0.1版本，python -m pip install pip==21.0.1
- 2021-11-24 07:07回答 5 已采纳 import requests url = r'https://hugovk.github.io/top-pypi-packages/top-pypi-packages-30-days.min.js
- 2021-04-29 21:33回答 1 已采纳 可以用scrapy框架来爬，我之前用scrapy框架爬过一次，实在不行，直接使用seleium模拟人工直接爬下来。
- 2020-12-23 10:59设计思路很简单，首先对已有的成绩进行处理，变为list集合，然后定时爬取教务系统查成绩的页面，对爬取的成绩也处理成list集合，如果newList的长度增加了，就找出增加的部分，并通过邮件通知我。 脚本运行效果： ...
- 2021-07-23 16:20回答 4 已采纳 先在cmd窗口看看你的python版本（输入python --version）, 看看和你的IDLE的3.88是不是一样，我遇到过电脑里面安装了2个python，后一个的pip会把前一个的pip给覆盖
- 2020-12-15 15:45weixin_39720865的博客 最近在学python爬虫，我想教务处官网可能是每个学生第一个自己动手爬取的网站吧。而且很多学校的教务处没有验证码，很适合初学者练手。环境准备本次模拟登陆用到的库除了requests外还有lxml，我们用它来提取网页中...
- 2018-10-21 21:46江冷易水寒的博客 大概的框架是用urllib库中的requests写的，本来想用...暂时只爬取了部分2017级的学生，爬取的4532个学生中只有229个使用的不是初始密码，希望学生能够提高自己的隐私意识!!! 效果图: 总结一下遇到的几个难点: ...
- 没有解决我的问题, 去提问
悬赏问题
- ¥20 关于#硬件工程#的问题，请各位专家解答！
- ¥15 关于#matlab#的问题：期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707，使系统具有较小的超调量
- ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
- ¥30 截图中的mathematics程序转换成matlab
- ¥15 动力学代码报错，维度不匹配
- ¥15 Power query添加列问题
- ¥50 Kubernetes&Fission&Eleasticsearch
- ¥15 報錯：Person is not mapped，如何解決？
- ¥15 c++头文件不能识别CDialog
- ¥15 Excel发现不可读取的内容