m0_58880359 2023-12-20 10:58 采纳率: 50%
浏览 9

怎么在xshell中使用wordcount统计高频单词

怎么在xshell中使用wordcount统计高频单词

img

这五个txt中都有英文单词

基于Hadoop的MapReduce或者Spark统计以上5个文件中的单词词频(wordcount),结果保存到HDFS中,截图频率最高的50个单词的统计情况。

  • 写回答

1条回答 默认 最新

  • 花溪★流年 2023-12-21 06:46
    关注

    如果使用mapreduce自己编写mapper,使用combinTextInputFormat聚合统计就行

    评论
    编辑
    预览

    报告相同问题?

    手机看
    程序员都在用的中文IT技术交流社区

    程序员都在用的中文IT技术交流社区

    专业的中文 IT 技术社区,与千万技术人共成长

    专业的中文 IT 技术社区,与千万技术人共成长

    关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

    关注【CSDN】视频号,行业资讯、技术分享精彩不断,直播好礼送不停!

    客服 返回
    顶部