林大大仙人 2023-07-07 18:29 采纳率: 100%
浏览 17
已结题

支持分布式集群部署ETL工具

什么etl工具最方便企业使用？能支持分布式集群部署的，请各位提供一些来，公司业务需要

  • 写回答

2条回答 默认 最新

  • 喝茶品人生 2023-07-08 16:13
    关注

    sqoop和talend是目前大企业用的比较多的，如果你要用其他的etl工具得优先考虑它得CDC机制和设计架构，这个网上有很多对比介绍得，自行翻阅

    本回答被专家选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

  • Java建议转大数据吗本科 etl工程师 大数据 数据库开发
    2022-07-02 22:58
    回答 2 已采纳 你所搜的岗位都有，但是每个岗位的工作内容有很大的区别比如大数据开发工程师，这是一个比较宽泛的定义，没有具体到岗位职责，可以是etl工程师，也可以是大数据平台开发，也可以是大数据实时开发，也有大数据运维
  • 如何一次删除多栏位（rows） etl工程师 python 大数据
    2022-11-11 21:46
    回答 8 已采纳 很简单df.drop(df.index[df['Rating']=='Jacksonville FL'],inplace=True)不过我觉得应该还可以这样，转换类型的时候过滤掉不是数字的行。就不用再
  • 使用 kettle 进行资源库导入时报错 etl etl工程师 大数据
    2022-11-04 09:57
    回答 1 已采纳 我去，忙一天。重新建一个数据库好了，问题原因可能在这里第一次建立数据库的时候我点了是，之后就无法导入；第二次我重新建数据库，这里没有管，导入成功了
  • 分布式大数据计算框架
    2024-05-29 14:12
    架构随笔录的博客 综上所述，基于HBase的大数据分布式计算框架结合了HBase的高可扩展性、高可靠性、高性能和灵活的数据模型等优势，以及分布式计算框架的高效处理能力，为大数据处理和分析提供了强大的支持。 4.基于Hive的大数据...
  • 免费的调度工具，有哪些了？ etl windows
    2021-09-18 14:30
    回答 1 已采纳 你好 可以看看这篇文章: 主流大数据调度工具对比DolphinScheduler Azkaban Airflow Oozie Xxl-job_import80的博客-CS
  • kettle没有表输入表输出控件怎么办 etl mysql 大数据
    2022-08-11 14:36
    回答 2 已采纳 目测你这个新建的是“任务”，所以没有，新建一个“转换”再看看。转换和任务的图标是不一样的：
  • ETL工程师主要是做什么的？ mysql
    2022-07-06 00:16
    回答 1 已采纳 一、ETL工程师主要做：通俗一点讲就是，对数据进行清洗，处理，加工，结构化。官方解释：ETL分为三个阶段，Extraction 抽取，Transformation 转换，Loading 加载。从不同数
  • dolphinscheduler分布式集群部署指南(小白版)
    2024-01-17 16:33
    嫣夜来的博客 摘自官网：Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler ...
  • kettle中报错ora00600 etl sql 大数据
    2022-03-16 14:25
    回答 2 已采纳 已解决，先声明这条原始语句不加+OPT_PARAM('_optimizer_cost_based_transformation' 'off')/在数据库查询是完全正常的，只是在kettle中报错，加上
  • ETL开发工程师工作五年跳槽 oracle sql 有问必答
    2022-03-10 09:58
    回答 2 已采纳 工作五年，基本也改成家了，第一家公司给的待遇如果能满足生活需要，个人感觉还是选这个。第二份工作需要驻场，其中的辛酸只有当事人能清楚，而且还是转行做运维，运维出不完的差。如果你自己已经不想做开发了，那就
  • ETL中如何进行跨库join sql
    2020-11-09 16:07
    回答 1 已采纳 我看了下，这个差不多要逐行执行，如果表的数据比较多（例如A表有5万数据，B表有1万数据，但是B表只有100条数据是和A关联的），采用这个方法，需要对每行A表数据查一次库，没有没办只查一次（使用类似se
  • DataX3.0+DataX-Web部署分布式可视化ETL系统
    2024-02-02 15:12
    無法複制的博客 2.DataX3.0插件体系 经过几年积累，DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入。DataX目前支持数据如下： 类型 数据源 Reader(读) Writer(写) 文档 RDBMS 关系型...
  • Kettle ETL提升效能問題 oracle sql 有问必答
    2021-03-22 11:41
    回答 1 已采纳 可以尝试给表加一个唯一索引或者主键，保证数据不会冲突。 另外这个参数的使用上，似乎也有一些问题： 可以看下官网文档：https://wiki.pentaho.com/display/EAI/.09
  • 基于Seatunnel最新2.3.5版本分布式集群安装部署指南(小白版)
    2024-06-07 16:40
    嫣夜来的博客 我这里已经安装部署了spark和Flink集群， 所以不需要再进行spark集群的部署配置了，这里直接说明如何完成基于spark/Flink引擎的Seatunnel集群配置。其他这个也很简单， 我们只需要修改seatunnel的环境配置脚本即可，...
  • 大数据工具概览2022优秀文档.ppt
    2022-11-14 18:14
    《大数据工具概览2022优秀文档》的PPT主要涵盖了...综上所述，大数据工具概览2022涵盖了从数据采集到展示的全链条技术，提供了多种选择以满足不同场景的需求，为企业和个人在大数据分析和应用中提供了有力的支持。
  • 没有解决我的问题, 去提问

问题事件

  • 系统已结题 7月20日
  • 专家已采纳回答 7月12日
  • 创建了问题 7月7日

悬赏问题

  • ¥30 STM32 INMP441无法读取数据
  • ¥100 求汇川机器人IRCB300控制器和示教器同版本升级固件文件升级包
  • ¥15 用visualstudio2022创建vue项目后无法启动
  • ¥15 x趋于0时tanx-sinx极限可以拆开算吗
  • ¥500 把面具戴到人脸上，请大家贡献智慧
  • ¥15 任意一个散点图自己下载其js脚本文件并做成独立的案例页面，不要作在线的，要离线状态。
  • ¥15 各位 帮我看看如何写代码，打出来的图形要和如下图呈现的一样，急
  • ¥30 c#打开word开启修订并实时显示批注
  • ¥15 如何解决ldsc的这条报错/index error
  • ¥15 VS2022+WDK驱动开发环境