冲锋代码兔 2022-10-10 01:47
浏览 16
已结题

python_Bs4库,请求头添加后.prettify()的文档格式打乱了**

#python_Bs4库,请求头添加后.prettify()的文档格式打乱了

from asyncore import write
from wsgiref import headers
from wsgiref.headers import Headers
import requests
import os
import bs4
from bs4 import BeautifulSoup

headers = {
    'User-Agent':
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}

# 获得回应
try:
    res = requests.get('https://www.baidu.com', headers=headers)
except ConnectionError:
    print("连接失败")

# 获得整理后的文档
soup = BeautifulSoup(res.text, 'html.parser')

# print(res.text)
print(soup.prettify())
print("\nover!!\n")

结果:

使用请求头后:↓

img


可以看到是很乱的↑
内容还不正确

取消使用请求头内容后:↓

img

尝试:

1、更换浏览器(更换请求头),无济于事
2、增加(或减少请求头的内容),无济于事
3、取消使用请求头(很好),.prettify()方法再次展现出整齐的文档

提问:

出现这个情况是哪个环节出现了问题?
有什么解决办法?
#请求指教!!

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 10月18日
    • 创建了问题 10月10日

    悬赏问题

    • ¥15 远程访问linux主机超时
    • ¥15 odoo17存货管理优势于中国国内该行业传统ERP或MES的详细解读和举例
    • ¥15 CPU卡指令整合指令数据都在图片上
    • ¥15 火车票关联12306问题
    • ¥15 odoo17处理受托加工产品
    • ¥15 如何用MATLAB编码图三的积分
    • ¥15 圆孔衍射光强随孔径变化
    • ¥15 MacBook pro m3max上用vscode运行c语言没有反应
    • ¥15 ESP-PROG配置错误,ALL ONES
    • ¥15 结构功能耦合指标计算