问题遇到的现象和发生背景
HDFS集群数据迁移怎么做？
用代码块功能插入代码，请勿粘贴截图
//大家来帮我写
2条回答 默认 最新
copeterol 2022-11-04 13:18关注hadoop distcp webhdfs://源集群:50070/源目录 webhdfs://目标集群:50070/目标目录本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 编辑记录
分享
- 2023-04-20 16:43运维仙人的博客 在大数据集群数据迁移的项目中涉及到很多技术细节，本博客记录了迁移的大致的操作步骤。迁移借用Hadoop自带的插件：distcp。
- 2022-07-09 23:54岁月的眸的博客 大数据离线集群数据迁移与元数据迁移
- 2020-04-17 10:43cjfeii的博客 HDFS集群数据迁移方案-distcp 1. 原理 distcp原理是在Hadoop集群中使用MapReduce分布式拷贝数据。 2. 资源消耗 源集群有只有数据读取和网络传输的消耗 目的集群需要执行MapReduce任务，并且有数据写入的消耗（3副本...
- 2020-11-28 00:35晨曦姜的博客 文|张翼 李海强 徐杰 王聪 张... 近年来，随着零售大数据Hadoop集群的快速增长，已是负重前行的保税区机房的设计容量日渐难以承载，扩建或新建机房势在必行。经领导层决议，基于大数据未来3年的发展需求和多维度推演...
- 2025-09-27 18:30AI 搜索引擎技术的博客 本文聚焦Hadoop生态体系（HDFS/YARN/HBase等组件）的数据迁移场景，涵盖集群内数据均衡、跨集群数据复制、版本升级迁移、云平台迁移等核心场景，系统阐述从迁移策略设计到落地实施的全流程技术方案，提供可复用的...
- 2020-12-21 22:54weixin_39671964的博客 点击“蓝字”关注我们本文转自：大数据杂谈作者丨侠天大数据架构背后的哲理Airbnb公司提倡数据信息化，凡事以数据说话。收集指标，通过实验验证假设、构建机器学习模型和挖掘商业机会使得Airbnb公司高速、灵活的成长...
- 2024-04-23 15:34大数据侠客的博客 elasticsearch-dump和logstash做跨集群数据迁移时，都要求用于执行迁移任务的机器可以同时访问到两个集群，不然网络无法连通的情况下就无法实现迁移。而使用snapshot的方式没有这个限制，因为snapshot方式是完全离线...
- 2022-11-26 00:01天码村的博客 1、HDFS数据迁移解决方案1.1 迁移方案 ——数据迁移的使用场景和考量因素1.2分布式拷贝工具： DistCp的使用2、HDFS NameNode安全模式3、HDFS高阶优化方案3.1短路本地读取short circuit local reads3.2负载均衡、磁盘...
- 2020-05-11 17:12wunanliu的博客 由于公司项目业务需求，需要将两个项目的大数据平台进行迁移，业务数据进行跨平台平移。 前提（大数据平台之间网络互通） 第一种方案（Linux原生远程Shell命令拷贝） ①将Hive数据通过MR写到其他Linux文件夹中...
- 2017-08-08 09:36彩色蚂蚁的博客 大数据集群迁移这件事，不知道有多少同学做过。我说的不是把一个集群的数据备份到另一个集群上。我指的是整个数据平台与大数据相关的所有集群及业务的迁移工作，从一个机房到另一个机房。这事，我们已经做了三次了。...
- 没有解决我的问题, 去提问
问题事件
系统已结题
11月12日
已采纳回答
11月4日-
创建了问题
11月3日