m0_52092477 2021-05-30 23:14 采纳率: 100%
浏览 265
已采纳

怎么解决python爬虫写入txt文件时出现的中文乱码问题

import requests
import re
from lxml import html

class MyCrawler:
    def __init__(self, filename):
        self.filename = filename
        self.headers =  {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36',
        }
    
    def download(self, url):
        r = requests.get(url, headers=self.headers)
        return r.text
    
    def extract(self, content, pattern):
        result = re.findall(pattern, content)
        return result
    
    def save(self, info):
        with open(self.filename, 'w', encoding='utf-8') as f:
            for item in info:
                f.write('|||'.join(item) + '\n')
    
    def crawl(self, url, pattern, headers=None):
        if headers:
            self.headers.update(headers)
        content = self.download(url)
        info = self.extract(content, pattern)
        self.save(info)
        
b_crawler = MyCrawler('douban.txt')
b_crawler.crawl(
    'http://lyjs.eastday.com/',
    'n\d+\/index.html"\starget="_blank">(.*?)<\/a></span></div><div\sclass="level">(.*?)<\/div>'
)
with open('douban.txt','r',encoding='utf-8') as f:
    lines=f.read()
    for line in lines.split('\n'):
        print(line)
  • 写回答

2条回答 默认 最新

  • CSDN专家-HGJ 2021-05-30 23:34
    关注

    在download函数代码中添加一行:r.encoding=r.apparent_encoding即可。

    def download(self, url):
        r = requests.get(url, headers=self.headers)
        r.encoding=r.apparent_encoding
        return r.text
           

    如有帮助,请点采纳,谢谢。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥15 CMAKE+VS2019+QT5.15.2组合进行二次编译
  • ¥15 nginx 配置静态html访问 ,后台登录时页面始终被重定向到登录页,无法访问到后台的静态html页
  • ¥20 自动登录的j2ee程序编译
  • ¥15 fluent模拟静态气体扩散
  • ¥15 java根据模板,生成word文档,需要带目录
  • ¥15 广告联盟的兜底广告是什么意思
  • ¥15 如何证明高斯噪声的包络公式
  • ¥150 寻找王者荣耀开发作者,合作或者解答
  • ¥15 关于cpci总线的几个问题,别用人工智能回答
  • ¥15 乳腺癌数据集 相关矩阵 特征选择