weixin_46132252 2020-01-05 19:17 采纳率: 0%
浏览 422

学习爬虫时候'ascii' codec can't encode characters报错,百度各种方法都试过了,测试后发现是ascii转不了utf-8

import urllib.request
import urllib.parse
import re
from bs4 import BeautifulSoup
import chardet
def main():
keyword=input("请输入关键词:")
keyword=urllib.parse.urlencode({"word":keyword})
response= \
urllib.request.urlopen("https://baike.baidu.com/search/word?%s"%\
keyword)
html=response.read()
soup=BeautifulSoup(html,"html.parser")
for each in soup.find_all(href=re.compile("view")):
content=''.join([each.text])
** url2 = ''.join(["https://baike.baidu.com", each["href"]])**
print(chardet.detect(str.encode(url2)))
response2 = urllib.request.urlopen(url2)
html2 = response2.read()
soup2 = BeautifulSoup(html2, "html.parser")
if soup2.h2:
content = ''.join([content, soup2.h2.text])
content = ''.join([content, "->", url2])
print(content)
if name=="__main__":
main()
我测试了一下,发现从 url2 = ''.join(["https://baike.baidu.com", each["href"]])这一句开始,它并没有全部编码成utf-8,图片说明然后我用了encode转为utf-8还是不行,被折磨了一下午了,头都大了,请问有大哥能帮一下吗

  • 写回答

1条回答 默认 最新

  • luyangever 2020-01-06 16:18
    关注

    1.头部加#coding:utf-8
    2.增加import sys
    reload(sys)
    sys.setdefaultencoding(‘utf-8’)
    3.建议你别再win上跑,如果在win上跑,先decode('gbk')再encode('utf-8'),如果gbk不行尝试下ISO-8859-1

    评论

报告相同问题?

悬赏问题

  • ¥100 有人会搭建GPT-J-6B框架吗?有偿
  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名