1条回答
- xiaohei.info 2015-06-16 08:39关注
问题已 解决。。。
allData 加上cache之后异常可以解决了,这是为什么呢?
其中又出现了一个错误:
卡住n久之后,程序退出,hdfs和hbase的相关节点挂掉
一路查看了相应的日志一知半解可能是nn和jn之间的通信超时了
按照官网的文档 配置在hdfs-site.xml中加入
dfs.qjournal.write-txns.timeout.ms
600000000再次测试,又抛新异常
代码中allData.repartion(3).cache(只是抱着试一试的心态)
再次测试,运行过程中又出现了几次和zk连接中断之后自动重新连接
基本运行没问题了虽然问题解决了,但是完全不知道是怎么个原理来解决的。。。
程序运行的时候总是会和zk通信中断之后在重新连接,虽然可以达到目的,但是重新连接过程要消耗很多时间,有什么好的解决方法吗本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 关于#matlab#的问题:期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707,使系统具有较小的超调量
- ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
- ¥30 截图中的mathematics程序转换成matlab
- ¥15 动力学代码报错,维度不匹配
- ¥15 Power query添加列问题
- ¥50 Kubernetes&Fission&Eleasticsearch
- ¥15 報錯:Person is not mapped,如何解決?
- ¥15 c++头文件不能识别CDialog
- ¥15 Excel发现不可读取的内容
- ¥15 关于#stm32#的问题:CANOpen的PDO同步传输问题