python爬虫移动端评论,浏览器能打开url,但request.get返回内容404,已加header。

python爬虫新手,想爬取一个app评论图,用charles抓包获得url,
在浏览器上能打开是一个xml文件,但是用request.get(url,header)请求开始报错405,将https改为http后报错404
实在找不出问题是什么限制访问了,望大神解答~~~

url= "https://*********************/comment-list.html?page=1&pagesize=20&type=1&fnum=HU7781&dep_code=HAK&arr_code=PEK&tag_id=images&with=reply&user_id=&access_token=jwZ9PW62rrHUWG3ZSJehX-c9PzuSEya0"(真实网址host已用*代替)**

charles报文如下

图片说明
图片说明

1个回答

405错误是请求方法不被允许,404错误是客户端在浏览网页时,服务器无法正常提供信息,或是服务器无法回应,所以正确是https;

1.直接在浏览器链接打开的xml是不是你需要爬的内容??
2.如果是,尝试通过浏览器上 的请求再重新get一次试试
3.如果不是,那就是请求的url给加密了,你需要做多次请求找到url变化的规律,破解后再请求

simaconghui
simaconghui 应该是url加密了,我看看怎么破解,谢谢解疑!
11 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!

相似问题

1
python 爬虫利用urllib.request.urlretrieve() 保存图片在本地,图片没有内容
1
python 3 报错 urllib.error.URLError: <urlopen error unknown url type: "http>
4
初学python。py文件能不能在浏览器打开
2
【django】关于request.POST[]和request.POST.get()的问题
1
新手入门python爬虫问题请教,急急急
2
python爬虫的奇葩错误,socket.gaierror: [Errno 11001] getaddrinfo failed
3
python 用request.get()方法得到的代码与浏览器中的代码不一样,关键要的数据都没有,望大神指点
1
python爬虫:soup.select()抓取信息路径表达问题
0
python爬虫响应414的时候要怎么处理?
1
Python客户端获取服务器的音频
1
Python爬虫,我用bs4的find方法为什么反回的是空值?怎么解决(已解决)?
2
python爬虫爬取的图片存在错误打不开
0
django使用@login_required时出现重定向次数过多问题是怎么回事
1
python爬虫爬取时提示org.xml.sax.SAXParseException: Content is not allowed in prolog.
3
求助各位大佬,python爬虫爬学校教务系统问题
2
pip升级怎么提示这个 怎么 解决 老版本也删除了 我的是python 3.7
1
python selenium 3调用firefox浏览器获取所有静态资源文件链接
1
为什么python爬虫下载的网页源码不完整?
1
爬虫为什么只能爬到一部分内容?
1
请问python爬虫出现“Cannot use HTMLSession within an existing event loop. Use AsyncHTMLSession instead.“错误如何解决