satan91
lf.D
2018-12-23 10:54

求教SparkStreaming 读取数据库表如mysql、cassandra等,每个batch是整张表吗?

  • nosql

需要做一个实时监控统计的系统,准备使用cassandra作为数据库,因为数据提交不带有最终统计的部分信息,需要将kafka dstream和已经存在cassandra内的部分表在spark中做关联。
打算采用sparkstreaming实时消费信息,同时读取cassandra表(增量变动)做关联。如果streaming读取cassandra的没个batch不是整张表会导致join失败吧

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

1条回答