windows系统 在java中发送消息到kafka,在控制台显示中文,在kafka中文乱码 5C

图片说明图片说明

Su_damier
Su_damier 请问解决了吗 总算找到一个类似的问题 我是在本地显示中文正常,到别服务器上面就是乱码了
8 个月之前 回复

5个回答

这么久了,第一次遇到乱码的,Linux默认编码格式就是UTF-8,默认配置的情况下是不会出现的,除非工具输入的时候转换已经是乱码了,消费的时候自然就是乱码,你可以换个工具试试。

qq_42427767
周末丶ZH 回复u014615160: 那对不起啊,我没啥办法......
大约 2 年之前 回复
qq_41672871
qq_41672871 应该是bug吧,我都经常遇到,打个补丁就没事了
大约 2 年之前 回复
qq_42475661
qq_42475661 windows+1
大约 2 年之前 回复
u014615160
帅气的钢笔 我用得是windows系统
大约 2 年之前 回复

控制台可能是gbk编码等。最好把字符统一用utf8编码处理一下再送到kafka,读取的时候对应解码

utf-8设置没有啊

使用Intelli idea调试kafka low consumer时,由于broker存储的message有中文,

idea中console端是可以正确显示的

然后mvn package打包到服务器上执行,结果中文乱码。

然后在kafka consumer代码中byte转为string时,使用了各种编码

String mes = new String(bytes,"UTF-8");
String mes = new String(bytes,"GBK");
String mes = new String(bytes,"iso8859-1");
问题还是没有解决。然后一直google,摆渡,看到有人说到jvm的默认编码会影响程序的编码,于是在程序中把

Charset.defaultCharset()打印出来,结果,在idea中显示的是UTF-8,在服务器上执行时就变成了US-ASCII。

我整个工程都是以UTF-8编码的,难怪在服务器上中文会乱码了。问题找到了,然后又经过一番折腾,终于解决了问题

在/etc/profile添加HADOOP_OPT="-Dfile encoding=UTF-8",保存退出 source /etc/profile,重新执行

hadoop jar kafkaHdfs-1.0-SNAPSHOT-jar-with-dependencies.jar org.conan.kafka.AllTopicsConsumer ./hdfs.properties

输出和输入端,在转换流加入编码库,应该就可以解决你的问题了

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐