爬虫的本质思路是什么？

我是一名java，最近突然对爬虫感兴趣，但是不是特别理解爬虫的设计思路是什么。
是通过接口返回数据的逐级调用来实现？还是获得html页面，然后遍历页面元素找到按钮模拟点击？

写回答
好问题 0 提建议
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

3条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
快乐小土狗 2022-08-05 01:37
关注
就是模拟浏览器或者软件发出请求

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报
编辑

预览
轻敲空格完成输入
显示为

卡片

标题

链接
评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(2条)

编辑

预览

报告相同问题？

关注问题

python后端开发或爬虫怎么系统学习？ python 后端爬虫
2023-04-13 05:18

回答 1 已采纳爬虫严格来讲并不算一个大方向，更偏向于js逆向，python的话推荐走后端方向至于系统学习的话，推荐去blibili找一些路线，然后根据路线去找bilibili上播放量比较高的视频进行系统学习
爬虫当中的Ajax是什么？ Request payload是什么？ python 爬虫
2022-09-20 08:14

回答 3 已采纳 AJAX 是一种用于创建快速动态网页的技术。AJAX 通过在后台与服务器进行少量数据交换，使网页实现异步更新。这意味着可以在不重载整个页面的情况下，对网页的某些部分进行更新。传统的网页（不使用 AJA
用python写爬虫和用Java写爬虫的区别是什么？ java python 爬虫
2016-04-25 17:53

回答 6 已采纳 python开发起来方便，快速，爬虫库也比较好用，scrapy
Python爬虫能做什么？
2023-10-18 06:29

程序媛小本的博客浏览器解析出来最后呈现给用户在浏览器上看到的结果所以用户看到的浏览器的结果就是由HTML代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤html代码，从中获取我们想要资源。我们感兴趣的信息分为不同的...
爬虫如何下载验证码图片？ python 有问必答爬虫
2022-01-28 06:45

回答 2 已采纳 base64数据，base64.b64decode下得到2进制数据后保存 import base64 ####src改为获取到的数据 src = "data:image/gif;base64,R0
为什么爬虫没法获得网页的码？ python 爬虫
2022-10-14 11:20

回答 1 已采纳不去控制台看真实请求接口这能行吗cookie换成你的 import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT
请问这样的python爬虫Header报错应该怎么办？ python 爬虫
2023-01-17 02:14

回答 2 已采纳 request.get那一行要缩进，放到collect的方法里面去，现在看起来是在方法外面啊！请采纳！！
2024 python 求职常见面试题（北京爬虫/后端）
2021-11-15 11:16

JHC000000的博客什么是爬虫协议？ Robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 Robots协议是网站国际互联网界通行的道德规范，...
我的python爬虫的循环遍历为什么报错？ python 爬虫
2023-01-17 05:25

回答 5 已采纳你把res打印出来看下。应该是request.get方法没有获取到数据，或者获取的数据格式和你想要的不一致，所以报错了。如果是获取的数据不对，检查下您的请求参数是否正确。
关于爬虫与反爬的思考？ python
2022-05-05 13:54

回答 2 已采纳没错，黑客有很多种。有写爬虫的黑客，也有黑服务器的黑客，也有偷密码的黑客、窃听的黑客。黑客这个定义很广。我记得数年前有本黑客攻防的书里，花了大篇幅讲了一个故事，是黑客假扮成清洁工，从别人的垃圾篓里找出
爬虫…显示的这是什么编码？ python 有问必答
2021-07-08 07:54

回答 2 已采纳在浏览器打开网页信息看看是这个编码，如果不是，说明你爬取的数据乱码了查看一下网页编码方式
Python爬虫工程师是干什么的？能赚多少钱？需要掌握哪些技术？
2023-05-31 07:00

Python程序员小泉的博客据我多年Python经验总结，Python主要有以下四大主要应用：网络爬虫网站开发人工智能自动化运维
Python爬虫常用哪些库？
2024-02-16 03:01

进击的码农！的博客经常游弋在互联网爬虫行业的程序员来说，如何快速的实现程序自动化，高效化都是自身技术的一种沉淀的结果，那么使用Python爬虫都会需要那些数据库支持？下文就是有关于我经常使用的库的一些见解。
Python爬虫开发学习全教程第二版，爆肝十万字【建议收藏】
2021-10-17 05:35

五包辣条！的博客上次整理的爬虫教程反响不错，但是还是有小伙伴表示不够细致，今天带了升级版，全文很长，建议先收藏下来。一、爬虫基础爬虫概述知识点：了解爬虫的概念了解爬虫的作用了解爬虫的分类 ...
国内搞 Python 最有前景的方向，AI 第一，爬虫必定第二！
2024-07-29 04:30

VIP_CQCRE的博客然而，新兴技术的兴起，尤其是 Python 爬虫在 AI 技术的应用，为我们提供了前所未有的机遇。过去一年，能让普通人利用 Python 赚到钱这件事，只有两个项目落地实现了，一个是Python 爬虫，一个就是Python AI 方向。...
没有解决我的问题, 去提问

问题事件

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
系统已结题 8月12日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
已采纳回答 8月5日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
创建了问题 8月5日

爬虫的本质思路是什么？

3条回答 默认 最新

问题事件

3条回答默认最新