UnicodeEncodeError: 'ascii' codec can't encode character '\uff1f'
初学者一个,看了几个解决办法没有弄好
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
解决不了
“python3 中的urllib.parse函数可以解析url,这里可以用来重构url,具体采用其中的 quote 函数。“
这个不知道quote怎么用
请教一下怎么解决这个问题
from bs4 import BeautifulSoup # 网页解析,获取数据
import re #正则表达式,进行文字匹配
import urllib.request,urllib.error #指定URL,获取网页数据
import xlwt #进行excel操作
import sqlite3 #进行SQLite数据库操作
def main():
baseurl='https://movie.douban.com/top250?start='
#爬取网页
datalist=getDta(baseurl)
#保存数据
savepath='.\\豆瓣电影Top250.xls'
saveData(savepath)
askURL('https://movie.douban.com/top250?start=0')
#逐一解析
def getDta(baseurl):
datalist=[]
return datalist
#得到指定的一个URL网页内容
def askURL(url):
# 用户代理,伪装 为 浏览器 类型 的访问
head={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'}
#发送请求 封装一个request去访问
request=urllib.request.Request(url,headers=head)
html=""
try:
response=urllib.request.urlopen(request)
html=response.read().decode()
print(html)
except urllib.error.URLError as e:
if hasattr(e,'code'):
print(e.code)
if hasattr(e,'reason'):
print(e.reason)
#return html
#保存数据
def saveData(savepath):
pass
if __name__=='__main__':
main()