人生真tm坎坷 2022-02-10 15:42 采纳率: 0%
浏览 41
已结题

运行mapreduce时reduce读取hdfs文件时出现乱码问题

程序最初是jar包在单机执行的,执行过程中同样使用了hdfs上的文件 不过在执行jar包的时候指定了file.encoding=utf8所以未出现乱码问题
现在程序改成了mapreduce运行在集群上 在reduce端读取了hdfs上的文件 本想的是在reduce将数据量不多的数据读出做全局变量使用 与map端输出过来的数据做比对 结果reduce端读的数据乱码了 本想在运行mapreduce的时候指定编码 结果指定的编码都被当做jar包的入参解析了
文件都是utf8的 服务器的lang也改成utf8了 jar包也是utf8编译的 求大佬指点迷津

这个图是reduce端读文件做了基本处理后的输出

img

这个是输出的数据

img

这个是读hdfs的方法

img

  • 写回答

1条回答 默认 最新

  • 有问必答小助手 2022-02-14 13:43
    关注

    你好,我是有问必答小助手,非常抱歉,本次您提出的有问必答问题,技术专家团超时未为您做出解答


    本次提问扣除的有问必答次数,将会以问答VIP体验卡(1次有问必答机会、商城购买实体图书享受95折优惠)的形式为您补发到账户。


    因为有问必答VIP体验卡有效期仅有1天,您在需要使用的时候【私信】联系我,我会为您补发。

    评论

报告相同问题?

问题事件

  • 系统已结题 2月18日
  • 创建了问题 2月10日

悬赏问题

  • ¥30 这是哪个作者做的宝宝起名网站
  • ¥60 版本过低apk如何修改可以兼容新的安卓系统
  • ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
  • ¥50 有数据,怎么建立模型求影响全要素生产率的因素
  • ¥50 有数据,怎么用matlab求全要素生产率
  • ¥15 TI的insta-spin例程
  • ¥15 完成下列问题完成下列问题
  • ¥15 C#算法问题, 不知道怎么处理这个数据的转换
  • ¥15 YoloV5 第三方库的版本对照问题
  • ¥15 请完成下列相关问题!