2 xuezhiji xuezhiji 于 2016.03.22 09:16 提问

hdfs可以远程连接上传和下载吗?

目前需求是这样的:windows客户端想要上传mr作业jar包至hdfs上,程序部署在hdfs某个节点的linux服务器上,运行linux部署的程序,实现windows上的jar包上传(或下载)至hdfs,请问如何实现这个功能?谢谢大大们!
hdfs提供有这样的远程调用接口吗?(hdfs的api接口copyFromLocalFile均是本地上传,不太符合目前的需求)

2个回答

hxiaowang
hxiaowang   2016.04.05 19:56

sqoop 可以实现远程上传下载

hxiaowang
hxiaowang   2016.04.05 19:57

sqoop 可以实现远程上传下载

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
远程HDFS文件的操作
因为手头项目涉及到远程HDFS文件的操作,所以打算学习一下相关操作。目前,网络上有很多操作HDFS文件的代码,但是它们基本上都没有描述清楚Configuration相关问题。经过摸索,终于实现远程HDFS文件读写的完整流程,在此希望各位看官交流学习。  HDFS文件操作依赖的jar包是通过maven下载的,其相关依赖如下:<dependencies> <dependency>
Java实现远程HDFS的文件操作(新建、上传、下载、删除)
通过java编程实现了远程HDFS的文件创建,上传,下载,删除等。Hadoop类库中最终面向用户提供的接口类是FileSystem,该类封装了几乎所有的文件操作,例如CopyToLocalFile、CopyFromLocalFile、mkdir及delete等。
hdfs远程连接hadoop问题与解决
问题:使用hdfs客户端在本地连接阿里云服务器上部署的hadoop,操作hdfs时候出现异常:could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 node(s) are excluded in this operation. 并且,在
学习hadoop-远程链接 HDFS
使用javaAPI的方式远程链接HDFS 首先项目进行maven管理 我这边使用的hadoop是2.5.0 进行学习 远程在win上面使用ide开发工具进行链接hadoop 首先创建maven工程 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/20
HDFS和FastDFS的上传、下载效率对比测试
测试环境 测试使用的FastDFS服务器,HDFS服务器均在vmware虚拟机中搭建,HDFS的服务器直接由FastDFS服务器克隆而来,所以除了一个安装了hadoop,一个安装了FastDFS,其他环境完全一致。 HDFS配置了集群环境,一主三从,但是只打开一台从节点服务器。 vmware的配置如下图: 测试主机(上述vmware、测试代码的运行环境)CPU、内存如下图: 编码
java api 远程访问hdfs
java api 远程访问hdfs
上传文件到HDFS,对文件进行压缩
hadoop计算需要在hdfs文件系统上进行,文件上传到hdfs上通常有三种方法:a hadoop自带的dfs服务,put;b hadoop的API,Writer对象可以实现这一功能;c 调用OTL可执行程序,数据从数据库直接进入hadoop   hadoop计算需要在hdfs文件系统上进行,因此每次计算之前必须把需要用到的文件(我们称为原始文件)都上传到hdfs上。文件上传到hdfs上
HDFS下断点续传的实现——下载
本文实现了在HDFS系统下的服务端提供给客户端满足断点续传下载功能的实现代码,使用了约定偏移量策略和Hadoop api中的seek方法。
使用HDFS上传
http://blog.csdn.net/jingling_zy/article/details/7397883 使用WebDAV从Windows上传日志到HDFS 本篇文章来源于 Linux公社网站(www.linuxidc.com)  原文链接:http://www.linuxidc.com/Linux/2012-01/51652.htm 在讨论如何从
远程访问hdfs
java api 远程访问hdfs