匿名用户2022 2023-01-25 13:07 采纳率: 82.4%
浏览 57
已结题

Python 爬虫乱码

网站名称不能写出来,要不然会因为被认为侵权而发布不了问题
写了一个最基础的爬虫去访问某网站(加了请求头),状态码200,爬出来的网页源代码是一段乱码
代码(原文件已经删了):

import requests
url='https://www.douban.com'
headers={中间是什么忘了,总之包含了User-agent和Referer}
r=requests.get(url,headers=headers)
r.text.encode('utf=8')
print(r.statu_code)
print(r.text)

成功访问,r.text是一大段的乱码?
爬取某网站的原文件已经给我删了,以同样的方法访问另一个网站首页是一部分乱码,用浏览器看了一下网页源代码,发现乱码部分好像大多在引号内
把r.text写进html文件里(utf-8转gbk):

img


还有这个(utf-8):

img

加encode('gbk')无法转换
还有我把这个程序改动了去爬某个视频网站首页,

https://www.bilibili.com

用了网上介绍的几种反反爬,出来的只有一小块,是源代码真就这么点,还是它设置了其他反爬?
(网页名称只能这么写了,不然不让提交)

  • 写回答

3条回答 默认 最新

      报告相同问题?

      相关推荐 更多相似问题

      问题事件

      • 已结题 (查看结题原因) 1月26日
      • 已采纳回答 1月26日
      • 创建了问题 1月25日

      悬赏问题

      • ¥15 结构体数组文件读取问题
      • ¥15 写c++代码,第7题说一下使用的计算方法
      • ¥15 postman接口自动化测试报告实践总结
      • ¥15 有关c++的问题,利用相关知识
      • ¥15 求香农编码和解码的matlab代码
      • ¥20 ROS中的TEB局部规划问题
      • ¥20 关于#matlab#的问题:要求测出上面图片中所有同心圆的半径
      • ¥20 epanet软件运行问题
      • ¥15 Python 文件读取
      • ¥60 dpabi进行Alff计算时脑池有干扰信号