头有问题啊!'Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/59.0'不知道怎么会出现...这种符号!自己去复制浏览器的user-agent
Python爬虫、requests库的get方法,带上headers后出现编码错误
10目标网站:知乎
Pyrhon版本:3.6
agent = 'Mozilla/5.0 (Windows NT 6.1; W…) Gecko/20100101 Firefox/59.0'
header = {
'HOST': 'www.zhihu.com',
'Referer': 'https://www.zhihu.com',
'User-Agent': agent
}
response = requests.get('https://www.zhihu.com', headers=header)
报错内容:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "C:\Anaconda3\lib\site-packages\requests\api.py", line 72, in get
return request('get', url, params=params, **kwargs)
File "C:\Anaconda3\lib\site-packages\requests\api.py", line 58, in request
return session.request(method=method, url=url, **kwargs)
File "C:\Anaconda3\lib\site-packages\requests\sessions.py", line 518, in request
resp = self.send(prep, **send_kwargs)
File "C:\Anaconda3\lib\site-packages\requests\sessions.py", line 639, in send
r = adapter.send(request, **kwargs)
File "C:\Anaconda3\lib\site-packages\requests\adapters.py", line 438, in send
timeout=timeout
File "C:\Anaconda3\lib\site-packages\requests\packages\urllib3\connectionpool.py", line 600, in urlopen
chunked=chunked)
File "C:\Anaconda3\lib\site-packages\requests\packages\urllib3\connectionpool.py", line 356, in _make_request
conn.request(method, url, **httplib_request_kw)
File "C:\Anaconda3\lib\http\client.py", line 1239, in request
self._send_request(method, url, body, headers, encode_chunked)
File "C:\Anaconda3\lib\http\client.py", line 1280, in _send_request
self.putheader(hdr, value)
File "C:\Anaconda3\lib\http\client.py", line 1212, in putheader
values[i] = one_value.encode('latin-1')
UnicodeEncodeError: 'latin-1' codec can't encode character '\u2026' in position 30: ordinal not in range(256)
\u2026好像是空格,看了下源码,好像是空格要转latin-1这种编码失败了,
我上面有空格的是agent,要用来伪装浏览器,这可怎么办,
而且在我看的那个知乎爬虫视频中,他也是有空格的,却不出错,这是我的环境有问题吗,
请大佬们能指点一下
- 点赞
- 写回答
- 关注问题
- 收藏
- 复制链接分享
- 邀请回答
4条回答
为你推荐
- Python爬虫爬图片
- python
- 2个回答
- python的requests爬虫返回了与原网页内容不符的javascript,如何解决?
- python
- 3个回答
- python爬虫 如何取出定位标签下的所有子集文本
- python
- 1个回答
- 关于python的爬虫问题
- python
- 3个回答
- python词云出现KeyError问题
- 有问必答
- python
- 3个回答
- 爬虫爬取的html是不完整的
- python
- 6个回答
- python爬虫的疑惑
- python
- 1个回答
- Python爬虫的问题,急求大佬解惑
- python
- mysql
- 14个回答
- python小说爬虫 缺少必须位置参数,求大佬解答
- python
- 1个回答
- Python爬虫过程中,fina_all没有内容,标签是正常的,求助
- python
- 1个回答
- python爬虫正则表达式re.findall只能获取众多链接中的一个
- python
- 2个回答
- 在用request库爬虫时,已经修改了headers,但status_code仍为418,请问这是什么情况?
- python
- chrome
- 1个回答
- 关于Python 网络数据爬虫爬取不到数据
- python
- 1个回答
- python 爬取表格 获取不到数据
- python
- 4个回答
- Python爬虫,我用bs4的find方法为什么反回的是空值?怎么解决(已解决)?
- python
- 1个回答
- python爬虫爬取斗图啦上的图片,打开爬取的图片显示图片错误
- python
- 3个回答
- Python爬取网页用json解析时出现'unicode' object has no attribute 'get'的错误
- python
- json
- 2个回答
- python爬虫爬都到的字符串写入mysql错误
- python
- mysql
- 4个回答
- python的requests出现10053错误,你的主机中的软件中止了一个已建立的连接。
- exception
- python
- 爬虫
- 1个回答
- Python爬虫、requests库的get方法,带上headers后出现编码错误
- 编码
- python
- 爬虫
- 库
- 4个回答