树莓派爬虫某搜索网址遇到问题

树莓派系统爬某搜索网站遇到问题

我在树莓派的系统上装了python，然后爬虫某搜索网站，现在电脑python可以正常爬虫

可树莓派去爬就会返回安全验证的内容。

我认为是表头的问题，就利用树莓派系统中的浏览器去访问某搜索网址，然后利用开发人员工具，获得真实的 agent，如下

User-Agent: Mozilla/5.0 (X11; CrOS armv7l 197.84.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.98 Safari/537.36

可这个放入到header里面，替换到原来的，也没用，还是返回安全验证。可电脑的python爬虫该搜索就没有问题，百思不得其解，

该怎么解决呢，让我的树莓派也能爬虫该搜索。手上有树莓派的能帮我测试下吗，之前似乎是可以的，近期突然不好用了。（注）和爬虫频率无关，程序只是偶尔爬虫一下。甚至隔天都试过，都不行。

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

4条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
鱼翔浅底666 2022-10-28 11:38
关注
之前访问太多太频繁，被禁IP了？用代理试试

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

python 爬虫正则表达式打印遇到问题 python 正则表达式爬虫
2021-12-30 23:54

回答 2 已采纳 ulrs = re.findall('<img src="(.*?)" alt=".*?">', html) 改成这样就行了，有帮助的话采纳一下哦！谢谢！
python爬虫爬取网页代码遇到了一些问题 python 爬虫
2022-08-17 17:07

回答 3 已采纳因为元素里的你要的内容是通过 ajax 请求动态加载的，可以浏览器抓包去看下，你想要的这条数据到底是哪个请求返回的，找到真正的请求，然后模拟发送就行了
python爬虫学习中遇到的问题 python 爬虫
2023-02-14 11:17

回答 4 已采纳该回答引用ChatGPT根据错误信息，这个问题可能是由于连接超时或网络连接不可用导致的。因此，建议您检查以下几个方面：确保您的网络连接正常并且能够访问请求的地址。确保请求的地址正确且存在，尝试在浏览
树莓派4B从拆封到python编程—“Hello world”
2020-03-04 21:47

你眼里有星星哟的博客 树莓派从拆封到python编程—“Hello world” 前言 2 3 4 5 6
爬虫爬网站遇到编码器问题 python 爬虫
2023-01-19 16:14

回答 4 已采纳成功了，加这一句
一个爬虫小程序遇到的问题 javascript python 爬虫
2022-08-26 14:49

回答 2 已采纳改成这样 response = requests.request("POST", url, data=payload) print(response.content.decode('gbk'))
爬虫一直遇到返回空表格的问题 python 爬虫
2022-03-12 23:06

回答 1 已采纳如果你确定soup没问题的话，那就是你的soup.find_all那里出了问题，你可以单独打印一下看看，应该是你写的条件没有匹配到
生信基础（一）—— 生信常用的编程语言
2018-09-30 11:58

生信了（公众号同名）的博客生信常用的编程语言 大家都知道，从事生信工作，除了要有生物学基础之外，最重要的就是编程技巧了。生信领域使用的最广泛的编程语言是shell（涉及sed、awk等常用文本处理工具）、...
关于xpath爬虫遇到的问题 python 其他爬虫
2023-03-13 17:09

回答 5 已采纳 titles=html.xpath('//*[@class="title"]/a//text()') abstracts=html.xpath('//*[@class="abstract"]') r
关于爬虫selenium遇到的问题 python 爬虫
2022-08-10 20:28

回答 3 已采纳因为网址更新了，现在是iframe[title = 'livere-comment']
seleium学习爬虫技术遇到的问题 python selenium 有问必答爬虫
2022-07-08 23:33

回答 3 已采纳你"iframe[title=’livere‘]"中单引号(')写成了中文全角的，要改成英文半角的。并且你页面中没有title='livere'的iframe只有title='livere-comme
如何学好python这门编程语言_码农如何学好python这门编程语言？
2020-12-29 06:16

石化橙子的博客 Python上手很容易, 基本有其他语言编程经验的人可以在1周内学会Python最基本的内容。但是在实际编程中会经常遇到挫折, 主要源自理解不够深入, 仅仅Python语法和API层面体验了一下。随意列举一些新手普遍存在的问题:1...
【爬虫】爬虫遇到的问题 python 有问必答
2021-08-23 15:11

回答 7 已采纳看起来确实像base64呀emm你把输出都导出到本地html文件里面然后打开试试看?有帮助望采纳
自学计算机编程语言经历！
2019-05-02 18:59

AHK87的博客天书夜读－从汇编语言到Windows内核编程链接： https://pan.baidu.com/s/1sk6alCWRQvDziEYLUrxArw 提取码：podo 汇编语言基于x86处理器链接： https://pan.baidu.com/s/1d0vz_0yqDMw-_Z3-b5OKsg 提取码：...
python世界第一语言_Java 跌落神坛！Python 正式登顶世界第一编程语言
2020-12-15 11:45

weixin_39607620的博客 Python 正式登顶世界第一编程语言编程语言流行指数(PYPL)排行榜近日公布了2019年2月份榜单。在最新一期榜单上， Python的份额高达26.42％，稳居第一，并且猛增5.2%，同时成为增长势头最好的语言。而被挤到第二的Java...
没有解决我的问题, 去提问

问题事件

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
已结题（查看结题原因） 10月28日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
修改了问题 10月28日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
修改了问题 10月28日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
赞助了问题酬金15元 10月28日
展开全部

悬赏问题

¥15 在工控机（Ubuntu系统）上外接USB蓝牙硬件进行蓝牙通信
¥15 关于PROCEDURE和FUNCTION的问题
¥100 webapi的部署(标签-服务器)
¥20 怎么加快手机软件内部计时的时间(关键词-日期时间)
¥15 C语言除0问题的检测方法
¥15 为什么四分管的内径有的是16mm有的15mm，四分不应该是12.7mm吗
¥15 macos13下 ios交叉编译的问题
¥15 bgz压缩文件怎么打开
¥15 封装dll（引入了pcl的点云设计库）
¥30 关于#开发语言#的问题：我需要在抄板的基础上再抄板抄程序，根据RDA8851CM基础上开发

树莓派爬虫某搜索网址遇到问题

树莓派系统 爬 某搜索网站 遇到问题

我在树莓派的系统上装了python，然后爬虫某搜索网站，现在电脑python可以正常爬虫

可树莓派去爬就会 返回 安全 验证 的内容。

我认为是 表头的问题，就利用树莓派系统中的浏览器去访问某搜索网址，然后利用 开发人员工具，获得真实的 agent，如下

该怎么解决呢，让我的树莓派也能爬虫该搜索。 手上有树莓派的能帮我测试下吗，之前似乎是可以的，近期突然不好用了。 （注）和爬虫频率无关，程序只是偶尔爬虫一下。甚至隔天都试过，都不行。

4条回答 默认 最新

问题事件

悬赏问题

树莓派系统爬某搜索网站遇到问题

可树莓派去爬就会返回安全验证的内容。

我认为是表头的问题，就利用树莓派系统中的浏览器去访问某搜索网址，然后利用开发人员工具，获得真实的 agent，如下

该怎么解决呢，让我的树莓派也能爬虫该搜索。手上有树莓派的能帮我测试下吗，之前似乎是可以的，近期突然不好用了。（注）和爬虫频率无关，程序只是偶尔爬虫一下。甚至隔天都试过，都不行。

4条回答默认最新