#python_Bs4库,请求头添加后.prettify()的文档格式打乱了
from asyncore import write
from wsgiref import headers
from wsgiref.headers import Headers
import requests
import os
import bs4
from bs4 import BeautifulSoup
headers = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
# 获得回应
try:
res = requests.get('https://www.baidu.com', headers=headers)
except ConnectionError:
print("连接失败")
# 获得整理后的文档
soup = BeautifulSoup(res.text, 'html.parser')
# print(res.text)
print(soup.prettify())
print("\nover!!\n")
结果:
使用请求头后:↓
可以看到是很乱的↑
内容还不正确
取消使用请求头内容后:↓
尝试:
1、更换浏览器(更换请求头),无济于事
2、增加(或减少请求头的内容),无济于事
3、取消使用请求头(很好),.prettify()方法再次展现出整齐的文档
提问:
出现这个情况是哪个环节出现了问题?
有什么解决办法?
#请求指教!!