比如我在第一个网页获取新闻标题和新闻链接，怎么在链接中在获取图片和内容，目标Android开发，是异步中在异步吗？能给一段代码实例吗？
我创建了一个新闻实体类，难道我在异步中获取标题，还在开一个异步吗？？？
比如AsyncTask中AsyncTask吗？怎么感觉变扭。
求高手指导思想及实现。
深层次的网络爬虫怎么实现？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答 默认 最新
- 2015-11-30 14:48回答 3 已采纳 http://download.csdn.net/download/ligl0702/7001333
- 2022-08-15 09:11回答 1 已采纳 应该是css选择器里面的规则不够明确，可改成href = selectors.css('div.container div div div ul li a::attr(href)').getall()
- 2023-04-13 13:18回答 1 已采纳 爬虫严格来讲并不算一个大方向，更偏向于js逆向，python的话推荐走后端方向至于系统学习的话，推荐去blibili找一些路线，然后根据路线去找bilibili上播放量比较高的视频进行系统学习
- 2022-01-30 21:28秃顶的博客 Python 网络爬虫与数据采集第1章 序章 网络爬虫基础1 爬虫基本概述1.1 爬虫是什么1.2 爬虫可以做什么1.3 爬虫的分类1.4 爬虫的基本流程1.4.1 浏览网页的流程1.4.2 爬虫的基本流程1.5 爬虫与反爬虫1.5.1 爬虫的攻与防...
- 2021-07-06 07:10回答 2 已采纳 不登陆的情况下不可以爬数据，网站会自动验证登录状态，你可以cookies去做，实际上也是已经登录了用户。如果跳过登录直接拿数据，就是入侵了，一般技术是做不到，而且难度大也是违法。如果对你有帮助，可以点
- 2021-11-02 20:35回答 1 已采纳 还有cookie，比如网站使用了session，会生成对应的cookie发送到客户端，如asp.net的ASP.NET_SessionId，php和jsp也有对应的cookie。 要保持是同一个请求，
- 2021-11-29 19:12回答 1 已采纳 img = requests.get(url=img_url) # img_url：图片的路径 with open('{}.jpg'.format(n), 'wb') as f: # n：文件名
- 2021-02-22 11:27胡老师11452的博客 一、爬虫是什么？ 二、爬虫可以做什么？ 三、爬虫开发中有哪些技术？
- 2023-01-22 10:36回答 4 已采纳 1、初学者好好学就是了，基本不可能爬得到什么有风险的东西，因为你技术不够2、就算有了一定技术爬到了有一定风险的东西，基本上不盈利/不把人网站搞崩也没啥事3、学到后面知道的知识多了，自然也不会有什么所谓
- 2022-02-26 20:51回答 2 已采纳 这个接口返回的是jsonp数据，不是json，要获取text替换掉回调函数名称和前后的括号后才是json数据
- 2022-09-21 11:27回答 4 已采纳 .*?点代表任意字符星表示前面的字符重复任意次数点星就表示任意长度的字符串问号表示非贪婪匹配，也就是匹配到第一个能跟后续字符匹配的字符串就结束-=-=-=那么好了，两个匹配，一个是item.*?tit
- 2020-07-10 00:20一行代码两块钱的博客 作为搜索引擎技术核心元素之一，自1993年初 Matthew Gray’s Wandered 在麻省理工学院开发出有史记载的第一个网络爬虫以来，爬虫技术历经20多年的发展，技术已日趋多样。为满足不同用户多种多样的需求，创建开发了...
- 2022-01-05 16:19回答 6 已采纳 可以参考下这个，这是一个整理了所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。https://github.com/HiddenStrawberry/Crawler_Illegal_Cas
- 2021-10-17 13:35五包辣条！的博客 大家好，我是辣条。...网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 原则上,只要是客户端(浏
- 2022-08-08 09:54巷子里的猫X的博客 python爬虫技术
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 安装svn网络有问题怎么办
- ¥15 Python爬取指定微博话题下的内容，保存为txt
- ¥15 vue2登录调用后端接口如何实现
- ¥65 永磁型步进电机PID算法
- ¥15 sqlite 附加（attach database）加密数据库时，返回26是什么原因呢？
- ¥88 找成都本地经验丰富懂小程序开发的技术大咖
- ¥15 如何处理复杂数据表格的除法运算
- ¥15 如何用stc8h1k08的片子做485数据透传的功能？(关键词-串口)
- ¥15 有兄弟姐妹会用word插图功能制作类似citespace的图片吗？
- ¥15 latex怎么处理论文引理引用参考文献