Hadoop数据传输问题？

Question

Hadoop数据传输问题？

在开发中遇见一个问题，业务数据服务器与Hadoop服务器不在同一个地方，网络不可达，需要将业务数据实时传入Hdfs中。
公司用的是c#开发的，不是很熟悉大数据组件，他们准备在Hadoop服务器中部署一套tomcat的web服务，用来实时接收业务数据，现在所面临的问题就是如何将tomcat中的实时数据传送到Hdfs中?
(要求只能在hadoop、hive、spark这三个技术中解决，我目前想到的就是写javaApi上传数据，但是那是实时数据，每次只有一条数据，这样会频繁地创建fs对象，对系统性能不是很好。接口中的数据以Json格式发送)
有没有兄弟指导一下该怎么做？

Answer 1

这三个可能不太好解决，对于大数据场景来说，如果将业务数据服务器上的数据传输到hadoop集群上，需要通过flume + kafka + flume的方式，详情你可以参考这篇博客：https://blog.csdn.net/qq_38705144/article/details/112600396