import urllib.request
import urllib.parse
import re
from bs4 import BeautifulSoup
import chardet
def main():
keyword=input("请输入关键词:")
keyword=urllib.parse.urlencode({"word":keyword})
response= \
urllib.request.urlopen("https://baike.baidu.com/search/word?%s"%\
keyword)
html=response.read()
soup=BeautifulSoup(html,"html.parser")
for each in soup.find_all(href=re.compile("view")):
content=''.join([each.text])
** url2 = ''.join(["https://baike.baidu.com", each["href"]])**
print(chardet.detect(str.encode(url2)))
response2 = urllib.request.urlopen(url2)
html2 = response2.read()
soup2 = BeautifulSoup(html2, "html.parser")
if soup2.h2:
content = ''.join([content, soup2.h2.text])
content = ''.join([content, "->", url2])
print(content)
if name=="__main__":
main()
我测试了一下,发现从 url2 = ''.join(["https://baike.baidu.com", each["href"]])这一句开始,它并没有全部编码成utf-8,然后我用了encode转为utf-8还是不行,被折磨了一下午了,头都大了,请问有大哥能帮一下吗
学习爬虫时候'ascii' codec can't encode characters报错,百度各种方法都试过了,测试后发现是ascii转不了utf-8
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答
- luyangever 2020-01-06 16:18关注
1.头部加#coding:utf-8
2.增加import sys
reload(sys)
sys.setdefaultencoding(‘utf-8’)
3.建议你别再win上跑,如果在win上跑,先decode('gbk')再encode('utf-8'),如果gbk不行尝试下ISO-8859-1解决 无用评论 打赏 举报
悬赏问题
- ¥100 Jenkins自动化部署—悬赏100元
- ¥15 关于#python#的问题:求帮写python代码
- ¥20 MATLAB画图图形出现上下震荡的线条
- ¥15 关于#windows#的问题:怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘
- ¥15 perl MISA分析p3_in脚本出错
- ¥15 k8s部署jupyterlab,jupyterlab保存不了文件
- ¥15 ubuntu虚拟机打包apk错误
- ¥199 rust编程架构设计的方案 有偿
- ¥15 回答4f系统的像差计算
- ¥15 java如何提取出pdf里的文字?