比如，公司A要获取公司B的hadoop集群的hdfs某个路径下的文件（不考虑安全认证什么的），但hdfs上存的数据都是以块存的，我可以获取到一个txt文件或者csv文件，但获取块的文件夹时却没办法获取数据，现在要将conf.set("fs.default","hdfs:127.0.01")这样的方式获取改为http请求，请问有案例吗，谢谢
3条回答 默认 最新
- 2023-12-07 21:43Francek Chen的博客 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS就是分布式文件...
- 2025-05-21 14:42光子AI的博客 本文旨在全面解析HDFS(Hadoop Distributed File System)中的数据分片策略，这是理解大数据存储和处理的基础。HDFS数据分片的基本原理分片大小对系统性能的影响副本放置策略及其优化实际应用中的调优技巧本文讨论的...
- 2025-06-18 02:29AI大数据智能洞察的博客 HDFS（Hadoop分布式文件系统）作为大数据基础设施的核心存储层，其数据访问控制策略是保障集群安全与多租户隔离的关键机制。本文从第一性原理出发，系统解析HDFS访问控制的理论基础、架构设计与实践要点，覆盖从经典...
- 2022-10-01 22:52Happy编程的博客 Block 保存在那些 DataNode 节点上（数据并非保存在 NameNode 磁 盘上的，它是在 DataNode 启动时上报给 NameNode 的，NameNode 接收到之后 将这些信息保存在内存中）NameNode 的 metadata 信息在 NameNode 启动后...
- 2025-04-11 20:02AI大数据智能洞察的博客 随着数据规模不断扩大和业务需求日益复杂，如何高效、可靠地实现HDFS数据同步成为大数据架构设计中的关键问题。本文旨在系统性地探讨HDFS数据同步的各种技术方案，分析其优缺点及适用场景。本文首先介绍HDFS的基本...
- 2024-03-07 14:44HinsCoder的博客 在NameNode内部是以元数据的形式，维护着两个文件，分别是FsImage镜像文件和EditLog日志文件。其中，FsImage镜像文件用于存储整个文件系统命名空间的信息，EditLog日志文件用于持久化记录文件系统元数据发生的变化。...
- 2026-01-07 00:18操作系统内核探秘的博客 Hadoop 分布式文件系统（HDFS）作为大数据生态系统中最常用的分布式文件系统，为大规模数据提供了可靠的存储解决方案。然而，随着数据量的不断增长，HDFS 的数据存储效率问题逐渐凸显。本文的目的在于深入探讨如何...
- 2025-05-12 21:03光子AI的博客 HDFS 作为 Apache Hadoop 项目的核心组件之一，旨在提供一个高容错、高吞吐量的分布式文件系统，能够在廉价的硬件集群上存储和处理大规模数据。本文的目的是深入剖析 HDFS 数据存储架构的演进过程，涵盖从 HDFS 1.0 ...
- 2025-05-13 19:05AI大数据智能洞察的博客 本文旨在系统性地解析HDFS(Hadoop Distributed File System)如何在大规模分布式环境中保障数据一致性。我们将覆盖从基础架构设计到具体实现机制的...NameNode：HDFS的主节点，负责管理文件系统命名空间和客户端访问。
- 2026-02-19 02:18AI应用架构探索者的博客 我是张明，资深大数据工程师，拥有6年Hadoop、Spark、Hive等技术的实践经验，曾负责过PB级数据仓库的搭建和运维。专注于大数据存储与计算的性能优化和稳定性保障。欢迎关注我的公众号“大数据技术实践”，获取更多...
- 没有解决我的问题, 去提问
问题事件
已结题
（查看结题原因） 8月22日-
创建了问题
11月22日