晚风( ̄▽ ̄) 2021-05-05 22:46 采纳率: 100%
浏览 59
已采纳

多字段数据库设计问题

现在有一个表   暂时有80多个字段  数据量比较大 一天几亿条数据 

1、不是每一个字段都能够用得上  不同的设备上传上来的数据不同(使用通用表会有冗余)
2、数据要进行计算 不能以以文本的方式存储,计算的时候会大量消耗cpu 内存等  (非实时计算,可离线)
3、后期还会继续增加字段
4、分布式应用场景


请问 如何选择数据库、表设计,  以及实体类的设计

  • 写回答

5条回答 默认 最新

  • benbenli 2021-05-06 02:36
    关注

    看要求这是一个典型的大数据场景。传统的关系型数据库就显得不够了。

    可以用Hive,数据文件存储在hdfs, 用ORC等column based 格式,方便压缩和值计算部分字段时高效运算。增加字段时也不影响之前的数据文件。

    可以按日期建立partition。

    计算也用cluster分布处理。 

    Spark 正时基于内存的大数据处理引擎。编程语言可以用你熟悉的。python门槛相对低一些。

     

    附注:求赞助积分和C币。加入CSDN将近20年了。最近几年忙小孩没登录。刚才搜索到一本电子书想下载,需要20积分/C币。赞助多少都可以。多谢。

     

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(4条)

报告相同问题?

悬赏问题

  • ¥15 ecplise在连接数据库时显示加载驱动成功但是数据库连接失败
  • ¥15 visionmaster启动失败,提示为“机器不满足授权而被禁用”
  • ¥50 用logisim设计16位单时钟周期cpu
  • ¥15 IDEA中圈复杂度如何具体设置
  • ¥50 labview采集不了数据
  • ¥15 Multisim红外倒车雷达仿真中距离问题
  • ¥15 请上面代码做什么处理或什么混淆
  • ¥15 英雄联盟自定义房间置顶
  • ¥15 W5500网线插上无反应
  • ¥15 如何用字典的Key,显示在WPF的xaml中