现在问题是这样的
1、现在我们公司的数据库架构是sqlserver数据库,分了三台服务器,每台服务器上面有一组主从的数据库。
2、其中一台上面记录了所有用户的信息、项目配置、业务相关数据(不包括流水数据),一台是记录线上所有用户的操作日志流水(不包括充值),一台是记录用户订单流水和项目后台操作配置相关数据。
3、上述条件下我这边是需要统计出根据用户信息筛选出来的信息做统计,比如根据用户注册时间来查询充值数据或者用户注册的渠道来统计操作日志流水,按照现在的数据库结构我是每个服务器每个数据库都放了一张用户表方便为了进行关联查询,这种用户数据是通过脚本进行同步的,但是其中用户表中有一些可变动的字段比如 最后登录时间,登录渠道,VIP等级等数据而其他数据库里面复制的用户表只存放了固定不变的字段。这样就会导致可能有一些数据统计分析会处理不了。
4、以上的数据库的量级都是有千万级,比如用户操作日志流水有多个,每个表至少也是千万级。所以才会分成了不同的服务器上面架不同的数据库。
以上就是描述的现在的情况,那么请问一下,有没有什么想法只需要一个用户表就可以完成上面的统计数据分析数据的操作,而且统计分析效率不会太慢的情况下完成。跨服务器查询数据库应该是不现实的,如果以后增加到更多的服务器放日志,不可能每他服务器上数据库都去同步一次用户信息吧?麻烦道友给一些方向或者意见。。
关于多服务器上数据库架构后需要统计分析里面相关数据
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
- 明教第三十四代觉主 2019-03-22 16:53关注
你这种场景就是不同的业务数据是分布在不同的节点的,3种思路吧:
1、利用binlog,将用户表数据全量同步过去,落在同一个库;
2、在外部做数据异构,把用户数据、流水等数据聚合后转储到es等分布式存储中。
3、合库,将数据合到一个数据库中。
浅薄的建议,不一定准确,希望能帮到你!解决 无用评论 打赏 举报
悬赏问题
- ¥15 seatunnel-web使用SQL组件时候后台报错,无法找到表格
- ¥15 fpga自动售货机数码管(相关搜索:数字时钟)
- ¥15 用前端向数据库插入数据,通过debug发现数据能走到后端,但是放行之后就会提示错误
- ¥30 3天&7天&&15天&销量如何统计同一行
- ¥30 帮我写一段可以读取LD2450数据并计算距离的Arduino代码
- ¥15 飞机曲面部件如机翼,壁板等具体的孔位模型
- ¥15 vs2019中数据导出问题
- ¥20 云服务Linux系统TCP-MSS值修改?
- ¥20 关于#单片机#的问题:项目:使用模拟iic与ov2640通讯环境:F407问题:读取的ID号总是0xff,自己调了调发现在读从机数据时,SDA线上并未有信号变化(语言-c语言)
- ¥20 怎么在stm32门禁成品上增加查询记录功能