1条回答 默认 最新
- xiaohei.info 2015-06-16 08:39关注
问题已 解决。。。
allData 加上cache之后异常可以解决了,这是为什么呢?
其中又出现了一个错误:
卡住n久之后,程序退出,hdfs和hbase的相关节点挂掉
一路查看了相应的日志一知半解可能是nn和jn之间的通信超时了
按照官网的文档 配置在hdfs-site.xml中加入
dfs.qjournal.write-txns.timeout.ms
600000000再次测试,又抛新异常
代码中allData.repartion(3).cache(只是抱着试一试的心态)
再次测试,运行过程中又出现了几次和zk连接中断之后自动重新连接
基本运行没问题了虽然问题解决了,但是完全不知道是怎么个原理来解决的。。。
程序运行的时候总是会和zk通信中断之后在重新连接,虽然可以达到目的,但是重新连接过程要消耗很多时间,有什么好的解决方法吗本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 素材场景中光线烘焙后灯光失效
- ¥15 请教一下各位,为什么我这个没有实现模拟点击
- ¥15 执行 virtuoso 命令后,界面没有,cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置
- ¥15 有没有研究水声通信方面的帮我改俩matlab代码
- ¥15 ubuntu子系统密码忘记
- ¥15 保护模式-系统加载-段寄存器