sparkStreaming join问题

sparkStreaming程序中有两个数据源分别来自两个不同的topic，两个topic中通过id进行join。但是数据可能存在不在同一个 batch的现象，第二个topic比第一个的数来的早点或者晚点或者压根不一块来，应该怎么解决。

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
devmiao 2018-04-10 15:56
关注
https://blog.csdn.net/butterluo/article/details/47083891

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

python left join 问题 python
2022-08-09 14:18

回答 2 已采纳感谢
mysql inner join 问题 mysql
2022-07-16 15:04

回答 2 已采纳 where条件写在最后写在连接条件之后
SQL中 mapjoin问题 python
2022-03-07 22:59

回答 1 已采纳 ①select 语句用于从表中选取数据。结果被存储在一个结果表中（称为结果集）。②/ * +MAPJOIN * /的用法如果关联的2张表大小差距悬殊或者进行不等值连接时，一般的join会导致运行速度很
Spark Streaming Join
2018-11-10 07:26

wangpei1949的博客多数据源Join思路 ...计算引擎上Join,如用Spark Streaming、Flink做Join。结果端Join，如用HBase/ES做Join,Join键做Rowkey/_id，各字段分别写入列簇、列或field。三种思路各有优劣，使用时注意...
spark sql join 1个driver很慢，其他很快，怀疑数据倾斜，帮解决可有偿私 spark
2021-11-24 10:01

回答 1 已采纳你把它复制到记事本发给我
SQL INNER JOIN ON问题 sql 有问必答
2021-07-03 11:52

回答 2 已采纳你这个连接条件写得不对吧，应该是课程id吧，改为course.course_no 如有帮助，请采纳。点击我回答右上角【采纳】按钮。
python进程join使用问题 python
2020-08-22 16:54

回答 1 已采纳 https://www.cnblogs.com/cnkai/p/7504980.html
Spark Streaming 双流 join
2021-12-15 20:01

笑面天下的博客需求：对mysql数据库中的order_info表和order_detail表进行流join 关联条件 order_info.id = order_detail.order_id
#Mysql# left join问题连接问题 mysql 有问必答
2021-09-19 00:29

回答 2 已采纳你这个代码应该返回18条值，是不是你加了其他条件
ubuntu,failed to join channel问题 fabric linux ubuntu
2023-02-27 15:35

回答 1 已采纳该回答引用ChatGPT 该错误表明您的peer节点试图加入通道时，遇到了配置块的验证问题，因为要求应用程序能力 V2_5 但是不受支持。要解决这个问题，您需要确保您的peer节点和orderer
Sql 中的 Full Join 使用问题 mysql sql 数据库
2023-03-23 09:58

回答 2 已采纳 mysql不支持full join，参考https://www.likecs.com/ask-8722973.html
sparkstreaming双流join
2022-07-22 20:07

菜鸟一枚7的博客 String如果使用的是Redis集群，则在...当然sparkstreaming计算实时数据时有弊端，开窗进行数据统计groupby的时候由于开窗滑动步长一般为微批次时间间隔的整数倍，会导致不完全在窗口范围中的数据统计漏掉。............
python的join（）方法问题 python
2023-04-04 19:49

回答 2 已采纳这个，self是表示分割符的字符串
Spark Streaming实现双流join
2020-10-24 11:48

小王是个弟弟的博客 spark streaming实现双流join，其难点是考虑延迟导致数据过来的批次不一样
Spark Streaming简介
2021-01-07 03:48

Spark Streaming 是 Spark 核心 API 的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。 Spark Streaming 支持从多种数据源获取数据，包括 Kafka、Flume、Twitter、ZeroMQ、Kinesis 以及 TCP ...
没有解决我的问题, 去提问

悬赏问题

¥50 永磁型步进电机PID算法
¥15 sqlite 附加（attach database）加密数据库时，返回26是什么原因呢？
¥88 找成都本地经验丰富懂小程序开发的技术大咖
¥15 如何处理复杂数据表格的除法运算
¥15 如何用stc8h1k08的片子做485数据透传的功能？(关键词-串口)
¥15 有兄弟姐妹会用word插图功能制作类似citespace的图片吗？
¥200 uniapp长期运行卡死问题解决
¥15 latex怎么处理论文引理引用参考文献
¥15 请教：如何用postman调用本地虚拟机区块链接上的合约？
¥15 为什么使用javacv转封装rtsp为rtmp时出现如下问题：[h264 @ 000000004faf7500]no frame？

sparkStreaming join问题

1条回答 默认 最新

悬赏问题

1条回答默认最新