墨白ed 2021-09-07 10:30 采纳率: 57.1%
浏览 13
已结题

采集变更数据的方法有哪些

请问采集变更数据的方法有哪些，暂时知道的：
1、binlog+canal
2、binlog+flink
3、通过kafka或者其他组件实时采集
还有别的吗

  • 写回答

0条回答 默认 最新

    报告相同问题？

    • 大数据平台数据采集方案设计
      2025-06-14 17:26
      暴躁哥的博客 本文系统介绍了大数据平台的数据采集方案，涵盖日志采集和埋点上报两大核心模块。从数据采集类型、原则出发，详细阐述了日志采集架构(包括Filebeat、Flume等技术选型)和埋点采集实现方式(代码埋点、可视化埋点等)，...
    • 【大数据技术】全链路实战项目解析：从数据采集到安全保障的技术架构与跨行业应用
      2025-08-01 23:10
      数据采集部分介绍了高并发写入、多源异构数据和断点续传的解决方案，如基于“边缘节点+中心集群”的双层采集架构、Flume的日志采集方案、Debezium的数据库变更捕获方案和MQTT的物联网设备采集方案。数据存储部分讨论...
    • 大数据必知必会系列_开源组件总结（1）：数据采集层
      2024-10-01 22:32
      数据出奇迹的博客 一般来说，企业大数据架构主要由数据采集、数据存储层、数据计算、数据分析挖掘、数据治理五层组成。本文对数据采集层用到的开源组件进行总结。
    • 大数据：数据的日志采集与用途
      2021-11-25 17:08
      唐樽的博客 系统架构流程图、离线处理、实时在线；职业定位；数据采集用途、日志； 数据模型、产生、划分、质量检测、日志传输
    • 大数据ETL数据提取转换和加载处理
      2024-10-08 12:02
      boonya的博客 ETL一词较常用在数据仓库，但其对象并不限于ETL（提取、转换、加载）指数据驱动型组织从多个来源收集数据，然后将数据集中起来以满足数据发现、报告、分析和决策需求的过程。在 ETL 流程中，各种数据源的类型、格式...
    • 基于电力行业的大数据时代下元数据管理方法探究.pdf
      2021-07-04 14:04
      业务变更频繁的环境中，元数据模型需要频繁更新，管理过程中必须保证模型与业务数据的同步，任何管理上的问题都会影响数据采集的质量。 为了解决这些问题，元数据管理方法需要从技术和管理两个层面来着手。在技术...
    • 大数据之数据治理体系全面指南
      2024-06-22 19:39
      五分钟学大数据的博客 好的数据治理体系可以盘活整条数据链路，最大化保障企业数据的采集存储计算和使用过程的可控和可追溯。如何构建企业数据治理体系？企业数据治理过程需要注意哪些问题？总体而言，不能一口一个胖子，路要一步一步地走...
    • 大数据治理解决方案.pdf
      2021-06-08 22:53
      为了解决上述问题，大数据治理方案提出了包括大数据整体架构、大数据采集交换平台、大数据处理平台、大数据资产管理平台、大数据交换平台、大数据接口运维平台、大数据分析挖掘平台、大数据智能平台和大数据决策平台...
    • 元数据·大数据·主数据元数据管理产品白皮书.docx
      2022-12-19 03:53
      该产品提供了自动采集、手动采集、元数据管理、元数据变更管理、版本控制、元数据分析等功能，满足企业对元数据的采集、管理和利用需求。 自动采集是指Data Master根据采集任务到元数据源采集相关元数据的过程。...
    • 大数据治理域——数据质量管理
      2025-06-18 19:57
      庄小焱的博客 本文系统阐述了数据质量在数据治理中的重要性。随着企业数字化转型，数据成为核心资产，数据质量直接影响业务决策、运营和合规。数据质量问题常见于准确性、一致性、完整性、及时性、唯一性和可解释性方面。这些问题...
    • 没有解决我的问题, 去提问

    问题事件

    • 系统已结题 9月15日
    • 创建了问题 9月7日