本来是想实现从s3上获取数据文件到本地，但是现在把s3读写操作功能部署到服务器上之后，下载数据就到了服务器上，我想让它下载到本地上，怎么办？所以想通过HDFS，将s3上的数据直接获取到HDFS中，前端再从HDFS中调接口访问，怎么办怎么办，求大神指导呀
AWS S3 与HDFS之间如何实现数据传输，代码实现
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答
- 2023-01-06 11:13回答 4 已采纳 首先，确保 VPS 上的防火墙规就正确地配置，并允许相应的端口。可以使用命令 ufw status 来查看防火墙状态和已配置的规就。 其次需要确保在 VPS 上运行的服务器能够正确地监听指定的端口。可
- 2019-01-29 11:34回答 1 已采纳 Try altering your NewDownLoader() to this. See https://docs.aws.amazon.com/sdk-for-go/api/service
- 2016-11-21 07:18回答 1 已采纳 You are currently dumping the raw contents of the directory/file.jpg as the zip (which a jpg is no
- 2023-12-15 04:15一头小山猪的博客 回顾最近十年，科技领域的发展逐渐迅猛，技术的更替以及开发模式的变更都越来越快，尽早的了解科技的发展方向是尤为重要的。2023年的 re:Invent 大会上，一口气...本篇文章就主要来说说一直在用的 Amazon S3 对象存储。
- 2019-07-22 21:55回答 2 已采纳 I ended up settling for my script in the initial post. I tried 20 goroutines and that seemed to wo
- 2018-09-08 23:44回答 2 已采纳 The problem was in defining the profile as "default". When I removed the profile parameter, the er
- 2019-09-24 19:13回答 1 已采纳 There is no such thing as "folders" in S3. At simple high level, S3 is a big key/value store. The
- 2021-05-27 20:45大数据在线的博客 当进入到大数据时代，数据湖概念兴起，人们看到了实现数据价值的新途径，甚至还有厂商发出用数据湖替代传统数据仓库功能的声音。 殊不知，数据湖与数据仓库从来就不是取代与被取代的关系。在数据湖蓬勃发展的同时，...
- 2017-10-04 22:16回答 1 已采纳 This is how you get presigned URLs using the go sdk: func GetFileLink(key string) (string, error)
- 2017-09-28 23:25回答 2 已采纳 When you try to access it via the HTTPS URL, it works because it is public, and you're When you
- 2019-06-12 21:41回答 1 已采纳 Folders do not actually exist in Amazon S3. It is a flat object storage system. For example, usin
- 2022-05-16 13:19剑客阿良_ALiang的博客 亚马逊云科技——如何在中国市场破局？
- 2017-11-01 16:36回答 1 已采纳 I would suggest you follow the guide here: http://docs.aws.amazon.com/cli/latest/userguide/cli-cha
- 2015-06-19 11:03亚马逊云开发者的博客 我们运行着种类繁多且数量可观的分析及监控系统，而且这些系统全部需要访问同样的整体数据集。 纳斯达克集团自Amazon Redshift发布之日起就开始将其引入自身业务体系，我们也对这一决定感到由衷赞赏。我们此前已经在...
- 2022-01-06 08:51zhisheng_blog的博客 全文共22790个字，35图最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？有没有成熟的数据湖解决方案？各大厂商的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？...
- 没有解决我的问题, 去提问
