mrjob 在hdfs上跑 怎么运行啊,运行命令是什么

是这样的,我照着网上的教程写好了一个用mrjob模块的mapreduce的python程序,名字叫word.py

在我的hdfs上 /test/bible bible是一个文档,在本地测试的时候扔到word.py里面是可以被计算出单词术的。

我想请问一下,我怎么让这个word.py运行在hadoop的mapreduce上,我看到网页上写的是 python word.py hadoop -r output

请各位大神教我一下。。。要求是输入文件和输出文件都在hdfs上进行。。。条件上面已经给出了。。。谢

2个回答

python word.py -r hadoop hdfs:///test/bible -o hdfs:///test/output/

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问