努力奋斗的阿远 2015-12-24 08:30 采纳率: 0%
浏览 3304

node.js访问hdfs文件并写入本地文件系统

我是nodejs初学者,现在项目需要使用node.js去访问hdfs文件系统中的文件,查阅相关资料,说推荐使用webhdfs模块,创建client后读取数据流,再pipe到本地文件系统,code如下:

demo.js


 var WebHDFS = require('webhdfs');
var fs = require('fs');


hdfs = WebHDFS.createClient({
    user:'root',
    host:'192.168.1.241',
    port:80,
    path:'/user/root/spark_lib/'
});


var localFileStream = fs.createWriteStream('/home/tera/workspace/t2/localFile.txt');
var remoteFileStream = hdfs.createReadStream('hdfs://192.168.1.241:8020/user/root/spark_lib/remoteFile.txt');

console.log(remoteFileStream);
remoteFileStream.pipe(localFileStream);


localFileStream.on('finish', function onFinish() {
    console.log('finish');
});

localFileStream.on('error', function onError(err) {
    console.log(err);
});

执行以上代码后本地生成localFile.txt但文件为空,求建议。

  • 写回答

1条回答 默认 最新

  • devmiao 2016-02-06 15:55
    关注
    评论

报告相同问题?

悬赏问题

  • ¥50 导入文件到网吧的电脑并且在重启之后不会被恢复
  • ¥15 (希望可以解决问题)ma和mb文件无法正常打开,打开后是空白,但是有正常内存占用,但可以在打开Maya应用程序后打开场景ma和mb格式。
  • ¥15 绘制多分类任务的roc曲线时只画出了一类的roc,其它的auc显示为nan
  • ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
  • ¥20 腾讯企业邮箱邮件可以恢复么
  • ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗?
  • ¥15 错误 LNK2001 无法解析的外部符号
  • ¥50 安装pyaudiokits失败
  • ¥15 计组这些题应该咋做呀
  • ¥60 更换迈创SOL6M4AE卡的时候,驱动要重新装才能使用,怎么解决?