使用flink消费kafka和使用springboot的消费有什么区别,为什么说流式计算快,他在哪些方面节省了时间
1条回答 默认 最新
- kakaccys 2022-08-13 08:07关注
主要是大数据情况下,有大量吞吐,大量计算,比如像很多电商网站都需要实时推荐算法工作,或者你去某网站时,突然砸你个劵,你看某个内容时,关联其他内容,广告,这种情况下都需要流式计算。
flink说白了就是一个分布式内存管理平台,为什么和kafka队列配合呢?还是因为内存,内存要爆了,就会导致一个服务器挂掉,flink除分配任务内存外,还可以动态扩容,容灾,至于消费方式当然是先进先出,这种情况只要有足够多的机器,足够多的内存,就能服务好用户。
当然既然是队列,也会存在队列过长的问题,所以像要给用户及时反馈的实时计算,可能就不适用了,比如用户登录,如果等的过长也不好。
至于节省时间,还是内存,内存学过计算机组成原理都知道算是速度的顶流了,还有就是并行计算,因为有分布式,这样对大量用户信息可以实现快速并行计算,还有些模型,其本身也会线上迭代,所以也需要流式计算。解决 无用评论 打赏 举报
悬赏问题
- ¥15 在若依框架下实现人脸识别
- ¥15 网络科学导论,网络控制
- ¥100 安卓tv程序连接SQLSERVER2008问题
- ¥15 利用Sentinel-2和Landsat8做一个水库的长时序NDVI的对比,为什么Snetinel-2计算的结果最小值特别小,而Lansat8就很平均
- ¥15 metadata提取的PDF元数据,如何转换为一个Excel
- ¥15 关于arduino编程toCharArray()函数的使用
- ¥100 vc++混合CEF采用CLR方式编译报错
- ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误,如何解决?
- ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
- ¥15 c#逐行读取txt文本,但是每一行里面数据之间空格数量不同