需要做一个实时监控统计的系统，准备使用cassandra作为数据库，因为数据提交不带有最终统计的部分信息，需要将kafka dstream和已经存在cassandra内的部分表在spark中做关联。
打算采用sparkstreaming实时消费信息，同时读取cassandra表（增量变动）做关联。如果streaming读取cassandra的没个batch不是整张表会导致join失败吧
求教SparkStreaming 读取数据库表如mysql、cassandra等，每个batch是整张表吗？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2022-04-18 16:31回答 1 已采纳 官方建议如下（简单的来说就是你最好把表设计成无关联的宽表，不支持join）： Design Differences Between RDBMS and Cassandra No joinsYou ca
- 2018-10-04 08:29回答 1 已采纳 The ALTER should be realised / replicated across the cluster. Migrate uses the highest level of co
- 2017-04-25 10:22回答 1 已采纳 Check the version of the uuid using version() method. if 1 then it's timeuuid. https://datastax.g
- 2021-02-03 11:32大数据：Apache技术和大数据实践（Hadoop，Spark，Scala，Hbase，Cassandra ...）
- 2016-08-16 17:54回答 1 已采纳 var session *gocql.Session func getCluster() *gocql.ClusterConfig { cluster := gocql.NewClus
- 2019-05-06 09:07回答 1 已采纳 Special thanks to @Jim Wartnick for this. I just tried turning Cassandra off on my local machine a
- 2016-03-17 17:59回答 1 已采纳 Use "definition" instead of "value". I tried this before but apparently I was doing something else
- 火花示例 学习如何将 Spark 与其他大数据工具（如 ES、Cassandra、Kafka...
- 2011-04-16 11:47回答 1 已采纳 Auto-increments are not suitable for a robust distributed system. You can only assign a unique ID
- 2018-09-10 22:11回答 1 已采纳 Use the service name cassandra00 for the hostname per the docker-compose documentation https://doc
- 2018-03-12 21:12回答 2 已采纳 I dont think there is any specific command in the library, but they create keyspaces as part of th
- 2018-07-24 20:03砖业洋__的博客 全网最详细MySQL教程，2023持续更新中
- 2019-02-19 09:53回答 1 已采纳 I re-tried and was able to resolve it. one trick here: to avoid error (cannot open /include/ca
- 2021-05-04 16:51赵广陆的博客 目录1 Spark 是什么2 Spark 四大特点2.1 速度快2.2 易于使用2.3 通用性强2.4 运行方式3 Spark 框架模块3.1 Spark Core3.2 Spark SQL3.3 Spark Streaming3.4 Spark MLlib3.5 Spark GraphX3.6 Structured Streaming4 ...
- 2023-09-17 01:57禅与计算机程序设计艺术的博客 但是随着云计算、移动互联网、容器技术等新兴技术的普及，NoSQL的火爆已经迅速席卷着行业，如MongoDB、Cassandra、Redis等开源分布式数据库正在逐渐取代传统的关系型数据库MySQL。这篇文章将通过对两者各自优缺点、...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 R语言Rstudio突然无法启动
- ¥15 关于#matlab#的问题：提取2个图像的变量作为另外一个图像像元的移动量，计算新的位置创建新的图像并提取第二个图像的变量到新的图像
- ¥15 改算法，照着压缩包里边，参考其他代码封装的格式 写到main函数里
- ¥15 用windows做服务的同志有吗
- ¥60 求一个简单的网页(标签-安全|关键词-上传)
- ¥35 lstm时间序列共享单车预测，loss值优化，参数优化算法
- ¥15 Python中的request，如何使用ssr节点，通过代理requests网页。本人在泰国，需要用大陆ip才能玩网页游戏，合法合规。
- ¥100 为什么这个恒流源电路不能恒流？
- ¥15 有偿求跨组件数据流路径图
- ¥15 写一个方法checkPerson，入参实体类Person，出参布尔值