import requests
import re
from lxml import html
class MyCrawler:
def __init__(self, filename):
self.filename = filename
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36',
}
def download(self, url):
r = requests.get(url, headers=self.headers)
return r.text
def extract(self, content, pattern):
result = re.findall(pattern, content)
return result
def save(self, info):
with open(self.filename, 'w', encoding='utf-8') as f:
for item in info:
f.write('|||'.join(item) + '\n')
def crawl(self, url, pattern, headers=None):
if headers:
self.headers.update(headers)
content = self.download(url)
info = self.extract(content, pattern)
self.save(info)
b_crawler = MyCrawler('douban.txt')
b_crawler.crawl(
'http://lyjs.eastday.com/',
'n\d+\/index.html"\starget="_blank">(.*?)<\/a></span></div><div\sclass="level">(.*?)<\/div>'
)
with open('douban.txt','r',encoding='utf-8') as f:
lines=f.read()
for line in lines.split('\n'):
print(line)
怎么解决python爬虫写入txt文件时出现的中文乱码问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
2条回答 默认 最新
- CSDN专家-HGJ 2021-05-30 23:34关注
在download函数代码中添加一行:r.encoding=r.apparent_encoding即可。
def download(self, url): r = requests.get(url, headers=self.headers) r.encoding=r.apparent_encoding return r.text
如有帮助,请点采纳,谢谢。
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 1无用
悬赏问题
- ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
- ¥20 腾讯企业邮箱邮件可以恢复么
- ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗?
- ¥15 错误 LNK2001 无法解析的外部符号
- ¥50 安装pyaudiokits失败
- ¥15 计组这些题应该咋做呀
- ¥60 更换迈创SOL6M4AE卡的时候,驱动要重新装才能使用,怎么解决?
- ¥15 让node服务器有自动加载文件的功能
- ¥15 jmeter脚本回放有的是对的有的是错的
- ¥15 r语言蛋白组学相关问题