使用logstash同步千万级数据，有一张主表，n张子表，我是使用left join关联成了视图，在用logstash根据时间戳同步的。数据量太大，同步很慢，也很难保证数据不丢失问题。请教解决方案！
1条回答 默认 最新
三千烦恼丝xzh 2022-02-16 20:41关注做基于binlog的CDC变更捕获同步管道中做join操作，快照并行增量串行，如果没有binlog权限那就先间隔扫表读变更，然后每日做全量覆盖保证数据准确性
评论 打赏解决 1无用举报
分享
- 2021-07-17 23:52sunny_1100的博客 本人利用ES官方文档中提到的logstash完成此次数据同步 input { stdin {} jdbc { #mysql的jdbc连接工具jar包 jdbc_driver_library => "D:\JavaMaven\maven_jar\mysql\mysql-connector-java\8.0.25\mysql-...
- 2022-06-12 23:17斗者_2013的博客 很多时候，在项目初期都是仅采用mysql数据库作为业务数据库，但是随着数据的增长，当单表的数据超过千万级后，在怎么对查询SQL语句进行优化性能都不理想。这种情况下，我们就可以考虑通过ES来实现项目的读写分离：写...
- 2019-09-16 18:01这不仅仅是菜的博客 1.在logstash安装目录bin目录下启动 bin/logstash -f config/xxx.conf 设置启动程序，xxx.conf。内容如下 input { stdin { } jdbc { codec => plain { charset => "UTF-8"} jdbc_connection_...
- 2022-08-23 16:10峰子哥哥的博客 很多时候，在项目初期都是仅采用MySQL数据库作为业务数据库，但是随着数据的增长，当单表的数据超过千万级后，在怎么对查询SQL语句进行优化性能都不理想。这种情况下，我们就可以考虑通过Elasticsearch来实现项目的...
- 2020-05-13 15:23Ch3nnn的博客 由于我们要迁移表的数据量比较大（千万级），所以我们需要分页读取数据，同时我们需要记录住上次读取的位置，这样下次执行的执行的时候可以继续执行，而不是从头开始。 定义 Mapping 我们需要在 es 中定义对应的 ...
- 2022-04-10 00:00鱼找水需要时间的博客 同步读写：最为简单的方式在将数据写到mysql时，同时将数据写到ES，实现数据的双写。 异步双写(MQ方式)：MQ的性能基本比mysql高出一个数量级，所以性能可以得到显著的提高。 定时器程序：相关表中增加一个字段为...
- 2022-11-09 08:43掉发的小王的博客 使用中，最首先的问题就是怎么把千万级数据同步到中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash。在思考，同步完怎么查看呢，这时Kibana映入眼帘，可视化的界面，让使用更加的得心应手哈！！这就是...
- 2019-04-24 19:16huiyunfei的博客 参考： ... ... es简介： ...es是一个高度可扩展的开源全文搜索和分析引擎，可以快速的、近实时地对大数据进行存储、搜索和分析，用来支撑复杂的数据搜索需求和企业级应用。简单来说，它是一个搜索引擎，...
- 2020-04-08 09:20浅汐王的博客 1. 数据来源是python爬虫获取美团、安居客的数据，使用Java进行ETL清洗后，批量插入MySQL中，由于MySQL在千万级甚至亿级数据量的激增下，查询缓慢，以及部分功能不能支持业务的需求，比如分词。。。等 2. 调研组件...
- 2020-11-21 01:46weixin_39618173的博客 最近工作中遇到了一个问题：将mysql的数据同步到elasticsearch中，现在有很多方案， logstash-jdbc ， elasticsearch-jdbc ， go-mysql-elasticsearch，本来原来是使用logstash-jdbc的，但是由于其配置文件是基于...
- 没有解决我的问题, 去提问
问题事件
已结题
（查看结题原因） 2月18日-
创建了问题
2月16日