陆小叁 2022-02-16 19:02 采纳率: 50%
浏览 38
已结题

logstash同步千万级数据

使用logstash同步千万级数据，有一张主表，n张子表，我是使用left join关联成了视图，在用logstash根据时间戳同步的。数据量太大，同步很慢，也很难保证数据不丢失问题。请教解决方案！

  • 写回答

1条回答 默认 最新

  • 三千烦恼丝xzh 2022-02-16 20:41
    关注

    做基于binlog的CDC变更捕获同步管道中做join操作，快照并行增量串行，如果没有binlog权限那就先间隔扫表读变更，然后每日做全量覆盖保证数据准确性

    评论

报告相同问题？

问题事件

  • 已结题 （查看结题原因） 2月18日
  • 创建了问题 2月16日

悬赏问题

  • ¥15 关于#matlab#的问题：在模糊控制器中选出线路信息，在simulink中根据线路信息生成速度时间目标曲线（初速度为20m/s，15秒后减为0的速度时间图像）我想问线路信息是什么
  • ¥15 banner广告展示设置多少时间不怎么会消耗用户价值
  • ¥16 mybatis的代理对象无法通过@Autowired装填
  • ¥15 可见光定位matlab仿真
  • ¥15 arduino 四自由度机械臂
  • ¥15 wordpress 产品图片 GIF 没法显示
  • ¥15 求三国群英传pl国战时间的修改方法
  • ¥15 matlab代码代写，需写出详细代码，代价私
  • ¥15 ROS系统搭建请教（跨境电商用途）
  • ¥15 AIC3204的示例代码有吗，想用AIC3204测量血氧，找不到相关的代码。