2 sinat 32829487 sinat_32829487 于 2016.03.31 10:32 提问

自己搭建云平台,怎么将网关的数据发送给hdfs进行处理

具体实现细节不是很懂,现在是在本地服务器上实现的,用mysql,想将系统转移到云平台上。

1个回答

zhangshangui_2015
zhangshangui_2015   2016.03.31 16:19
已采纳

大哥,这个得调用HDFS的API接口才能实现,得调用以下几个jar包,然后在本地用java写代码才能实现本地文件上传到hadoop中。
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
云平台API网关常见问题及解决办法
云平台API网关的使用流程: API挂载-API服务发布-开发者申请-租户审批-开发者申请Tomcat引擎服务并绑定带有引擎war包的应用-调用API 实施需注意的问题: 将引擎war包中的配置文件apigateway.properties中的Redis地址改为云平台的Redis地址 在测试通过API网关调用API前,应先不通过API网关直接访问原API,有数据返回再通过网关测试
怎么搭建云平台的服务
公司要实现一个部署在云平台的服务,要能够支持Web访问+APP访问(IOS和Android都要支持), 并且这个服务是面向用户的,就是要能支持一定数量用户(例如1w个)的并发访问。 个么我想到自己曾经开发的那些系统服务。开发好TCP连接、数据库存取,exe文件做出来,然后把exe拷贝到服务器注册成系统服务。理论上这也能解决,但可能在负荷以及并发处理方面不行,潜意识里觉得这方法可能不可取。
和我一起搭建私有物联网云平台
背景(不看也罢) “预计2020年全球的物联网设备将达到500亿台”这句话已经被我无耻地在各种材料、PPT中引用过无数次了,但这并不妨碍物联网已经成为或即将成为下一个浪潮之巅的事实,各大、小公司都想借助物联网的风口再起飞一波。于是,很多公司纷纷推出各种物联网云平台争抢这个具有无限潜力的黄金市场(其实说钻石亦不过分,除了媒体的吹捧之外物联网还是有真功夫的)。典型的物联网云平台包括AWS IoT
使用Hadoop的MapReduce与HDFS处理数据
hadoop是一个分布式的基础架构,利用分布式实现高效的计算与储存,最核心的设计在于HDFS与MapReduce,HDFS提供了大量数据的存储,mapReduce提供了大量数据计算的实现,通过Java项目实现hadoop job处理海量数据解决复杂的需求。 一、基本环境及相关软件的配置     详细配置说明:基本环境配置及权限申请 二、hadoop项目开发流程      hadoop主要的
用开源软件搭建自己的物联网
物联网(Internet of Things, IoT)是最近被频频提及,也涌现出许多的想法。 这个社区持续地在发展,所以需要有一个对大众开放的物联网平台,让每个人都能来实现自己的想法,让大家的生活或多或少变得更便捷!! 根据InternetOfThingsWiki.com的消息,物联网社区的用户想要一个开放的消费器件市场,不是被单个零售商所垄断。另一个原因是培养一个物联网设备和应用产
温度采集系统
通过温度传感器采集温度,发送给单片机进行数据处理,将处理后的数据发送给上位机显示。
ASP.NET5 REST API使用示例——基于云平台+云服务打造自己的在线翻译工具
做为一个程序员可能在学习技术,了解行业新动态,解决问题时经常需要阅读英文的内容;而像我这样的英文小白就只能借助翻译工具才能理解个大概;不禁经常感慨,英文对学习计算机相关知识太重要了!最近发现IBM的云平台Blumemix,并且提供语言翻译的服务,感觉不错,就拿来研究学习一下;这里就分享一下我的研究学习过程,如何使用ASP.NET5调用REST API打造自己的在线翻译工具,并演示如何把它发布到云平
如何搭建私有云平台
众说周知Amazon EC2是一个公共云的计算平台,属于IaaS(基础设施即服务)这类. 现在有一款开源的项目Eucalyptus(Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems),同样实现了Amazon EC2的功能,由于其开源性,注定了搭建一个私有的云计算平台成为可能. 更方便
大型企业如何搭建私有云计算平台
云计算已经成为当前最流行的IT概念之一,越来越多的大型企业开始考虑如何用云计算平台来构建自己的信息系统。云计算平台具有高可扩展性、超大规模、高可用性、成本低廉等特点,因此如何利用云计算搭建企业信息化平台成为当前的热门话题。但是对于云计算如何落地、企业如何利用云计算平台,特别是大型企业可利用哪些云计算搭建企业信息化平台,并没有一个清晰的答案。本文依据云计算的基本概念,特别是私有云的建设,以虚拟化未基
快速搭建自己的物联网平台,zigbee协议(不会控制你的物联网系统)
一套不会控制你的物联网系统,完全开放的系统api接口,让你实现拥有自主品牌,自主销售,而且不受第三方系统控制的系统, 我们有10年行业经验,目前已经拥有上100款各类物联网设备,门磁,开关,空气检测传感器,摄像头等等..., 建立了一套从app,云服务器,智能网关整套完整成熟技术方案体系,协助你快速搭建一个完整的物联网系统,快速完成项目开发。