似水云烟
2017-05-31 10:03spark streaming直连kafka,手动更新offset,offset前面出现一段乱码
如题,我是通过
offsetsRanges.foreach(offsetRange => {
val path = s"${zkPath}/${offsetRange.partition}"
val offset = offsetRange.fromOffset.toString
// 将该 partition 的 offset 保存到 zookeeper
logger.warn(s"向zookeeper中topic:${offsetRange.topic}的${offsetRange.partition}分区写入offset:${offset}")
ZkUtils.updatePersistentPath(zkClient, path, offset)
}
)
手动更新offset的,但是我用zkClient查看的时候发现,在offset前面多了一段乱码,导致用kafka监控程序的时候,无法监控
- 点赞
- 回答
- 收藏
- 复制链接分享
1条回答
为你推荐
- 从kafka里面消费数据,就是连接不到kafka,在kafka里面生成和消费都没有问题,也没有报错,求大神指教哪里有问题,我也从来没遇到过这个问题,求指教?
- scala
- 1个回答
- 使用Golang将嵌套数据插入BigQuery
- it技术
- 互联网问答
- IT行业问题
- 计算机技术
- 编程语言问答
- 1个回答
- 过滤掉破损的管道错误
- io
- 2个回答
- 如何将io.ReadCloser流式传输到golang中的http.ResponseWriter?
- stream
- http
- streaming
- 1个回答
- gRPC专用频道
- grpc
- 1个回答
换一换