爬取A页面-->B页面-->C页面里的下载链接.
请问一下代码该如何实现
crawler4j 爬取深度的问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
1000001000，，，， 2017-09-29 09:09关注如果页面层次与链接字符有联系，可以根据链接的规律改变链接即可。
如果链接字符与层次无关，那只能多次爬取与解析，再用解析的链接访问子页面解决 无用评论 打赏举报 分享
- 2016-01-18 08:38回答 4 已采纳 利用crawler4j做网络爬虫，你能抓取到数据的话，然后分析数据就行。特定的标题和发表时间，应该有特定的标识的，检查此标识然后取得想要的数据。
- 2021-05-13 22:48回答 3 已采纳 少了一个空格，没有选中li元素
- 2021-08-16 14:15回答 2 已采纳 你代码沾出来被，还要我们自己写调试吗。。
- 2024-01-12 16:53超爱玩大模型的博客 ，本文受米尔格拉姆实验（Milgram experiment）启发，从心理学视角提出了一种轻量级 Jailbreak 方法：DeepInception，通过深度催眠 LLM 使其成为越狱者，并令其自行规避内置的安全防护。，可在数学优化问题上应用。...
- 2023-04-18 19:17回答 2 已采纳 可以使用goroutine和channel来改写这个程序,提高爬取速度。具体可以这样做: 定义一个channel,用于协调不同goroutine间的工作,比如:goch := make(chan st
- 2015-04-07 12:37回答 1 已采纳 If you use your favorite web search for "Go web crawler" (or "Golang web crawler") you'll find man
- 2021-03-21 16:34回答 1 已采纳 import requests from bs4 import BeautifulSoup from lxml import etree #用来预处理 #请求数据 url = 'https://m
- 2021-07-13 20:51Storm-Simple-Crawler 一个基于storm/kafka/redis的简单爬虫，灵感来自[ ] 版本 0.0.1 的功能： 礼貌：机器人规则和主机... 简单的爬虫：只爬取给定的深度和 topn url。 路线图： Xpath 提取器。 HTMLUNIT 集成。
- 2021-09-05 19:18回答 2 已采纳 那叫ajax，
- 2016-04-09 17:48回答 1 已采纳 Let's see how symfony/dom-crawler works. Here's an example to start with: <?php require 've
- 2014-07-01 09:44回答 1 已采纳 It depends on your server layout. Segregated subdomain If the subdomain has its own document roo
- 2019-07-18 18:40theo.wu的博客 第1章 Go语言简单介绍 深度理解Go语言面向接口，函数式编程，错误处理，测试，并行计算等元素 Go语言的设计初衷 1.针对其他语言的痛点进行设计；2.并加入并发编程；3.为大数据、微服务、并发而生的通用编程语言。 ...
- 2011-12-31 13:02回答 1 已采纳 Flat Loop Example: You initiate the loop with a stack that contains all URLs you'd like to proce
- 2019-05-05 17:47BC_COM的博客 爬取张佳玮138w+知乎关注者：数据可视化 一、前言 二、数据可视化 1、关注人数 2、性别情况 3、10w+大V 4、居住地分布 5、Top20 系列 6、认证信息 7、优秀回答者 三、小结 第十一部分:拉勾招聘网站爬取了532条...
- 2020-05-13 18:51Vite Labs的博客 按照职责，把DexServer分为了四个服务，分别是Dex-API、Dex-Crawler、Dex-Push及Dex-Task。其中Crawler是核心服务，为其他三个服务提供数据源，整个系统流程如图所示。 1、Dex-API API服务为ViteX提供了查询入口，...
- 2019-12-19 23:58LL小蜗牛的博客 前一段时间因某些原因再次与爬虫碰面了，这次是爬取拉勾网的一些信息并利用wordcloud生成词云，并使用pyechart生成一些统计信息什么的 爬取前还是要观察拉勾网的一个页面结构，一般都是有规律可循的 首先查看职位...
- 2022-02-10 22:10AryaZhang（大力）的博客 driver.find_element_by_xpath("标签a的xpath").get_attribute("href") print url url = soup.find_all("标签a的xpath").get("href") 四、正则表达式re （1）解析方式 正则表达式的使用方法主要有4种： re.search...
- 2021-09-18 15:26愛彈吉他的小盆友的博客 文章目录一、概述二、原理三、爬虫分类1、传统爬虫2、聚焦爬虫3、通用网络爬虫（全网爬虫）4、网页抓取策略1、宽度优先搜索：2、深度优先搜索： 一、概述 网络爬虫（Web crawler），又称为网络蜘蛛（Web spider）...
- 2022-07-31 08:54嗯嗯好的呢！的博客 （3）w3lib ：用于处理URL和网页编码的多用途帮助程序 （4）twisted：异步网络框架 （5）cryptography 和 pyOpenSSL ：处理各种网络级安全需求 4、XPath 写爬虫最重要的是解析网页的内容，这个部分就介绍下通过 ...
- 小胡说人工智能的博客 Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.100" ) #根据关键词爬取并下载图片 #下载基本参数设置，更多参数设置在main()函数处 NAME_LIST = "characters_name_list.txt" #导入需要...
- 没有解决我的问题, 去提问
