Mr.骢 2019-03-22 14:09 采纳率: 0%
浏览 496

关于多服务器上数据库架构后需要统计分析里面相关数据

现在问题是这样的
1、现在我们公司的数据库架构是sqlserver数据库,分了三台服务器,每台服务器上面有一组主从的数据库。
2、其中一台上面记录了所有用户的信息、项目配置、业务相关数据(不包括流水数据),一台是记录线上所有用户的操作日志流水(不包括充值),一台是记录用户订单流水和项目后台操作配置相关数据。
3、上述条件下我这边是需要统计出根据用户信息筛选出来的信息做统计,比如根据用户注册时间来查询充值数据或者用户注册的渠道来统计操作日志流水,按照现在的数据库结构我是每个服务器每个数据库都放了一张用户表方便为了进行关联查询,这种用户数据是通过脚本进行同步的,但是其中用户表中有一些可变动的字段比如 最后登录时间,登录渠道,VIP等级等数据而其他数据库里面复制的用户表只存放了固定不变的字段。这样就会导致可能有一些数据统计分析会处理不了。
4、以上的数据库的量级都是有千万级,比如用户操作日志流水有多个,每个表至少也是千万级。所以才会分成了不同的服务器上面架不同的数据库。
以上就是描述的现在的情况,那么请问一下,有没有什么想法只需要一个用户表就可以完成上面的统计数据分析数据的操作,而且统计分析效率不会太慢的情况下完成。跨服务器查询数据库应该是不现实的,如果以后增加到更多的服务器放日志,不可能每他服务器上数据库都去同步一次用户信息吧?麻烦道友给一些方向或者意见。。

  • 写回答

1条回答

  • 关注

    你这种场景就是不同的业务数据是分布在不同的节点的,3种思路吧:
    1、利用binlog,将用户表数据全量同步过去,落在同一个库;
    2、在外部做数据异构,把用户数据、流水等数据聚合后转储到es等分布式存储中。
    3、合库,将数据合到一个数据库中。
    浅薄的建议,不一定准确,希望能帮到你!

    评论

报告相同问题?

悬赏问题

  • ¥15 opencv 无法读取视频
  • ¥15 用matlab 实现通信仿真
  • ¥15 按键修改电子时钟,C51单片机
  • ¥60 Java中实现如何实现张量类,并用于图像处理(不运用其他科学计算库和图像处理库))
  • ¥20 5037端口被adb自己占了
  • ¥15 python:excel数据写入多个对应word文档
  • ¥60 全一数分解素因子和素数循环节位数
  • ¥15 ffmpeg如何安装到虚拟环境
  • ¥188 寻找能做王者评分提取的
  • ¥15 matlab用simulink求解一个二阶微分方程,要求截图