sanss2012
2020-11-02 11:37
采纳率: 50%
浏览 72

能否使用kafka实现传统的数据采集后保存的工作

医疗器械, 设备使用24位AD, 采样频率是4kHz, 共有128个通道. 也就是说, 每秒产生的数据量大概有1.5MB. 一次手术时间, 可能持续数个小时.

在手术过程中, 要完成数据的实时采集, 保存, 显示和分析等工作.
最好能每隔十多毫秒存储一次数据, 同时, 要求能随时调取任意时刻下的前后数秒内的数据.

目前的做法是, 完整数据存储在文件中, 一些特殊时间段的数据存储在数据库中, 操作有点耗时.

现在想对系统架构进行升级, 因此想咨询下大家, 如果在数据实时采集的过程中, 使用单节点kafka完成数据存储和调用工作, 以提升存储和调用效率, 请问这样是否可行呢?

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

2条回答 默认 最新

  • 唯有杜康TM 2020-11-02 13:37

    为啥不用时序数据库?或者Mysql 就可以,为啥用kafka?kafka 可以做,但并不是为此设计的,而且增加了复杂度,

    建议:

    1,优化mysql 的存储逻辑

    2,重点看有没有索引 和缓存

    3,1s 写入数据小于1000条,建议mysql

    点赞 评论
  • Happywzy~ 2020-11-02 15:25

    不推荐kafka存储,但是可以用kafka作为中间通道缓存,你可以从kafka中读取数据写入到大数据平台或者楼上说的时序数据库。

    点赞 评论