DPnice
DPnice
2017-11-16 06:23

14亿条有格式的数据怎么实现复杂条件下秒级查询

5
  • 数据
  • spark
  • hdfs
  • mysql
  • redis

现在在mysql 有 14亿 行数据,我现在是这么做的,将数据导出到hdfs,将数据根据一个
字段hash分区 分成1000个小文件,用spark+kafka+redis ,web端发送条件到kafka
spark程序消费数据(条件),从hdfs读取对应的hash文件,条件判断之后将数据保存
到redis。有什么更好的解决方案吗,前提是机器内存有限16-32g左右。

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

3条回答