本人自学Python，最近在写爬虫，遇到了下面这个问题：
上面这是自己写的代码，运行时会出现下面的错误。
然后下面是正常的代码，运行时不会出现异常。
对比了好多次，感觉两份代码没什么不同，不知道自己写的错在哪了，还请CSDN区的大佬能好心解答一下。
Python爬虫代码报错就解答
然后下面是正常的代码，运行时不会出现异常。
对比了好多次，感觉两份代码没什么不同，不知道自己写的错在哪了，还请CSDN区的大佬能好心解答一下。
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
CSDN专家-showbo 2021-10-23 21:30关注user-agent，不是user_agent，中干线，不是下划线，user-agent打错被反扒检查出来没有正确返回json内容吧
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2021-04-22 11:19回答 4 已采纳 代码逻辑问题，main函数里只有计算耗时的部分，没有调用get_html、parse_html等函数。
- 2022-01-03 14:51回答 2 已采纳 response.encoding = 'utf-8'这是定义字符编码为utf-8，这样爬取出来的数据不会是乱码。不要也可以，但有时候你需要把爬取的数据写入表格中，如果没有定义字符编码的数据，写入表格
- 2022-03-18 12:30回答 2 已采纳 driver.swith_to.window(driver.window_handles[1]),函数名写错了，不是swith是switch，少写了个c，改成：driver.switch_to.win
- 2020-11-28 12:43weixin_39928461的博客 前言以前写爬虫都是用requests包，虽然很好用，不过还是要封装一些header啊什么的，也没有用过无头浏览器，今天偶然接触了一下。原因是在处理一个错误的时候，用到了几个以前没有用过的工具；这几个工具也挺常见的，...
- 2022-08-23 18:15回答 1 已采纳 复制我的代码试试： import requests from bs4 import BeautifulSoup def get_page(link): headers = {'User-Ag
- 2022-06-07 18:53回答 2 已采纳 from bs4 import BeautifulSoup import pandas as pd import requests from urllib.request import urlopen
- 2022-02-11 13:01回答 4 已采纳 网站设计了相应的反扒策略，需要把Cookie添加到headers中，这种问题一般从headers入手，有的限制User-Agent必须有，有的限制Cookie headers = { 'Cooki
- 2023-02-05 21:43袁袁袁袁满的博客 已解决Python爬虫报错[406]＞
- 2023-02-01 15:25回答 3 已采纳 我用的edge，你改成chrome应该一样的 import time from lxml import etree from selenium import webdriver import pan
- 2022-07-02 00:17回答 1 已采纳 你HtML 中T写成小写了, HTML应该是全大写 另外 li 是 Element元素不能与字符串拼接. 需要用li.text获取元素中的文本print(li+'\n')fp.write(li+'\
- 2022-01-15 17:29回答 1 已采纳 就是 获取 soup.find_all("script", type="text/javascript") 返回的结果， 取第3个元素的文本。
- 2022-11-11 21:13袁袁袁袁满的博客 已解决Python爬虫报错[403]＞
- 2024-07-15 15:46独角兽哆啦A梦的博客 它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码...
- 袁袁袁袁满的博客 成功解决（Python爬虫requests报错）：requests.exceptions.ProxyError: HTTPSConnectionPool
- 2021-03-06 17:10莫加洛夫的博客 问题： Python爬虫运行正常，最后却报错描述:刚学Python，不明白，特来请教。程序是爬取贴吧某个地址的图片，运行正常，图片也都下载下来了。代码如下：importurllib.requestimportreresponse=urllib.request....
- 没有解决我的问题, 去提问
问题事件
系统已结题
10月31日
已采纳回答
10月23日-
创建了问题
10月23日