在dataphin里有多个任务，有spark，数据管道任务、等多个有依赖关系的任务，需要上下游的依赖调度，有人会吗？
阿里云的数据中台dataphtin有airflow那样的复杂的任务调度功能吗？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2021-09-24 12:01回答 1 已采纳 你修改了某个配置，导致了yum不能使用；
- 2022-04-26 17:01无处不在的海贼的博客 2022年告诉你用Docker安装Apache Airflow，它是一个提供基于 DAG 有向无环图来编排工作流的、可视化的分布式任务调度平台，与 Oozie、Azkaban 等任务流调度平台类似。
- 2021-07-12 10:18Freedom3568的博客 Airflow 是通过 DAG（Directed acyclic graph 有向无环图）来管理任务流程的任务调度工具，不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。 这个平台拥有和 Hive、Presto、MySQL、HDFS、...
- 2021-06-18 18:45incubator-airflow：定时任务管理平台，管理和调度各种离线定时任务，自带 Web 管理界面。当定时任务量达到百级别的时候，就无法再使用 crontab 有效、方便地管理这些任务了。该项目就是为了解决了这个问题而诞生的 ...
- 2021-01-07 09:51airflow.cfg这个文件里面有很多的关于scheduler的参数，其中跟调度密切相关的有几个： max_threads ：这个是调度dag的进程数量，最多有CPU个数的进程。 scheduler_heartbeat_sec ：这个是调度的时间间隔，如果上一次...
- 2022-01-07 14:16Lucifer三思而后行的博客 数据中台怎么选型？终于有人讲明白了
- 2024-03-09 19:11高级Java人才培训专家-第七章：一站制造：任务流调度AirFlow
- 2021-04-22 21:54我就算饿死也不做程序员的博客 airflow是由python编写的，安装也比较简单，可以直接通过pip命令安装： pip install airflow pip install airflow # 安装airflow使用mysql的相关依赖 pip install airflow[mysql] # 可以用all安装所有相关的插件...
- 2022-04-24 11:44介绍了常见的集中调度器Azkaban&Oozie&Airflow的GUI设计
- 2022-07-12 09:40Sajor_的博客 Airflow 是 Apache 基金会的一套用于创建、管理和监控工作流程的开源平台，是一套非常优秀的任务调度工具。截至2022年7月，在GitHub上已经拥有近27k的star。 本文主要介绍一下Airflow 2.3.2版本，各个功能模块，...
- 2021-06-30 15:09空气流动 Airflow 是一个以编程方式创作、调度和监控数据管道的系统。
- 2018-08-31 13:40分布式任务调度部署，基于4台机器，采用docker部署，docker做的集群
- 2021-04-29 10:29weixin_39676242的博客 airflow将工作流编排为tasks组成的有向无环图(DAGs)，调度器在一组workers上按照指定的依赖关系执行tasks。同时，airflow提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作，并且airflow提供了...
- 2022-01-04 00:14云原生生态圈的博客 Airflow是一个分布式任务调度框架，可以把具有上下级依赖关系的工作流组装成一个有向无环图; 有向无环图长得就如下一般： 说的云里雾里的，那么Airflow究竟是什么呢？简单说，airflow就是一个平台，你可以在这个平台...
- 2021-01-29 16:48设置为在AWS ECS容器中运行Airflow 要求 本地 码头工人 AWS 用于基础架构部署的AWS IAM用户，具有管理员权限 ，完整运行pip install awscli 在~/.aws/credentials内设置您的IAM用户~/.aws/credentials 在.zshrc...
- 2021-04-27 14:04airflow-yarn-executor-plugin-进行中利用YARN执行任务的实验气流执行器利用： :
- 2019-01-07 19:16本文档让你使用最新版的airflow同时可以使用中国时区。并附有airflow中文资料引用。airflow安装方案细节。 airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。...
- 2020-12-09 02:57weixin_39676930的博客 1. 概述Apache AirflowAirflow是airbnb开源的基于DAG(有向无环图)的用Python开发的任务管理系统。最简单的理解就是一个高级版的crontab，它解决了crontab无法解决的任务依赖问题。项目于2014年启动，于2015年春季...
- 没有解决我的问题, 去提问
问题事件
系统已结题
11月7日
创建了问题
10月30日
悬赏问题
- ¥15 想问一下树莓派接上显示屏后出现如图所示画面，是什么问题导致的
- ¥100 嵌入式系统基于PIC16F882和热敏电阻的数字温度计
- ¥15 cmd cl 0x000007b
- ¥20 BAPI_PR_CHANGE how to add account assignment information for service line
- ¥500 火焰左右视图、视差（基于双目相机）
- ¥100 set_link_state
- ¥15 虚幻5 UE美术毛发渲染
- ¥15 CVRP 图论 物流运输优化
- ¥15 Tableau online 嵌入ppt失败
- ¥100 支付宝网页转账系统不识别账号