lf.D 2018-12-23 10:54 采纳率: 0%
浏览 1264

求教SparkStreaming 读取数据库表如mysql、cassandra等，每个batch是整张表吗？

需要做一个实时监控统计的系统，准备使用cassandra作为数据库，因为数据提交不带有最终统计的部分信息，需要将kafka dstream和已经存在cassandra内的部分表在spark中做关联。
打算采用sparkstreaming实时消费信息，同时读取cassandra表（增量变动）做关联。如果streaming读取cassandra的没个batch不是整张表会导致join失败吧

  • 写回答

1条回答

  • xx937746631 2018-12-23 07:36
    关注

    batch是按时间分的，最终其实还是RDD

    评论

报告相同问题？

悬赏问题

  • ¥20 matlab计算中误差
  • ¥15 对于相关问题的求解与代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
  • ¥15 保护模式-系统加载-段寄存器
  • ¥15 电脑桌面设定一个区域禁止鼠标操作
  • ¥15 求NPF226060磁芯的详细资料
  • ¥15 使用R语言marginaleffects包进行边际效应图绘制
  • ¥20 usb设备兼容性问题
  • ¥15 错误(10048): “调用exui内部功能”库命令的参数“参数4”不能接受空数据。怎么解决啊