lf.D
2018-12-23 10:54
采纳率: 0%
浏览 1.2k

求教SparkStreaming 读取数据库表如mysql、cassandra等,每个batch是整张表吗?

需要做一个实时监控统计的系统,准备使用cassandra作为数据库,因为数据提交不带有最终统计的部分信息,需要将kafka dstream和已经存在cassandra内的部分表在spark中做关联。
打算采用sparkstreaming实时消费信息,同时读取cassandra表(增量变动)做关联。如果streaming读取cassandra的没个batch不是整张表会导致join失败吧

  • 写回答
  • 好问题 提建议
  • 关注问题
  • 收藏
  • 邀请回答

1条回答 默认 最新

  • xx937746631 2018-12-23 07:36

    batch是按时间分的,最终其实还是RDD

    评论
    解决 无用
    打赏 举报

相关推荐 更多相似问题