比如我在第一个网页获取新闻标题和新闻链接，怎么在链接中在获取图片和内容，目标Android开发，是异步中在异步吗？能给一段代码实例吗？
我创建了一个新闻实体类，难道我在异步中获取标题，还在开一个异步吗？？？
比如AsyncTask中AsyncTask吗？怎么感觉变扭。
求高手指导思想及实现。
深层次的网络爬虫怎么实现？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答 默认 最新
- 2022-08-15 09:11回答 1 已采纳 应该是css选择器里面的规则不够明确，可改成href = selectors.css('div.container div div div ul li a::attr(href)').getall()
- 2023-04-13 13:18回答 1 已采纳 爬虫严格来讲并不算一个大方向，更偏向于js逆向，python的话推荐走后端方向至于系统学习的话，推荐去blibili找一些路线，然后根据路线去找bilibili上播放量比较高的视频进行系统学习
- 2021-07-06 07:10回答 2 已采纳 不登陆的情况下不可以爬数据，网站会自动验证登录状态，你可以cookies去做，实际上也是已经登录了用户。如果跳过登录直接拿数据，就是入侵了，一般技术是做不到，而且难度大也是违法。如果对你有帮助，可以点
- 2022-01-30 21:28秃顶的博客 Python 网络爬虫与数据采集第1章 序章 网络爬虫基础1 爬虫基本概述1.1 爬虫是什么1.2 爬虫可以做什么1.3 爬虫的分类1.4 爬虫的基本流程1.4.1 浏览网页的流程1.4.2 爬虫的基本流程1.5 爬虫与反爬虫1.5.1 爬虫的攻与防...
- 2021-11-02 20:35回答 1 已采纳 还有cookie，比如网站使用了session，会生成对应的cookie发送到客户端，如asp.net的ASP.NET_SessionId，php和jsp也有对应的cookie。 要保持是同一个请求，
- 2021-11-29 19:12回答 1 已采纳 img = requests.get(url=img_url) # img_url：图片的路径 with open('{}.jpg'.format(n), 'wb') as f: # n：文件名
- 2023-01-22 10:36回答 4 已采纳 1、初学者好好学就是了，基本不可能爬得到什么有风险的东西，因为你技术不够2、就算有了一定技术爬到了有一定风险的东西，基本上不盈利/不把人网站搞崩也没啥事3、学到后面知道的知识多了，自然也不会有什么所谓
- 2021-02-22 11:27胡老师11452的博客 一、爬虫是什么？ 二、爬虫可以做什么？ 三、爬虫开发中有哪些技术？
- 2022-02-26 20:51回答 2 已采纳 这个接口返回的是jsonp数据，不是json，要获取text替换掉回调函数名称和前后的括号后才是json数据
- 2022-09-21 11:27回答 4 已采纳 .*?点代表任意字符星表示前面的字符重复任意次数点星就表示任意长度的字符串问号表示非贪婪匹配，也就是匹配到第一个能跟后续字符匹配的字符串就结束-=-=-=那么好了，两个匹配，一个是item.*?tit
- 2022-01-05 16:19回答 6 已采纳 可以参考下这个，这是一个整理了所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。https://github.com/HiddenStrawberry/Crawler_Illegal_Cas
- 2023-11-09 13:31吴秋霖的博客 多年爬虫领域老工程师深度总结反爬虫技术原理与场景，带你快速了解并掌握反爬虫技术栈知识
- 2020-07-10 00:20一行代码两块钱的博客 作为搜索引擎技术核心元素之一，自1993年初 Matthew Gray’s Wandered 在麻省理工学院开发出有史记载的第一个网络爬虫以来，爬虫技术历经20多年的发展，技术已日趋多样。为满足不同用户多种多样的需求，创建开发了...
- 2024-04-28 06:06m0_60635001的博客 无外乎“发送请求—获得页面—解析页面—抽取并储存内容”从这个过程中，我们可以获取到的信息是，在爬虫工作中需要涉及到前端页面相关的知识，网络协议相关的知识，以及数据存储的相关知识。此外还需要注意的是，...
- 2022-05-29 02:55作为HeadFirst系列的一部分，本书以生动有趣的方式介绍了Python的基础语法及如何利用Python进行Web开发和移动应用开发。 - **《像计算机科学家一样思考Python》** 本书内容清晰易懂，适合Python入门者，尤其是...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 能给我一些人生建议吗
- ¥15 mac电脑，安装charles后无法正常抓包
- ¥18 visio打开文件一直显示文件未找到
- ¥15 请教一下，openwrt如何让同一usb储存设备拔插后设备符号不变？
- ¥30 使用quartz框架进行分布式任务定时调度，启动了两个实例，但是只有一个实例参与调度，另外一个实例没有参与调度，不知道是为什么？请各位帮助看一下原因！！
- ¥50 怎么获取Ace Editor中的python代码后怎么调用Skulpt执行代码
- ¥30 fpga基于dds生成幅值相位频率和波形可调的容易信号发生器。
- ¥15 R语言shiny包和ncdf4包报错
- ¥15 origin绘制有显著差异的柱状图和聚类热图
- ¥20 simulink实现滑模控制和pid控制对比，提现前者优势