- logstash全量同步mysql百万级别数据问题？
-
mysql单表数据大概300万左右。全量同步的时候每次同步到20000的时候就会报错。
[WARN ][logstash.inputs.jdbc ] Exception when executing JDBC query {:exception=>#<Sequel::DatabaseError: Java::JavaLang::IllegalArgumentException: HOUR_OF_DAY: 2 -> 3>}在连接数据的URL后面加上时区UTC或者CST又会报错MONTH
不知道有没有大神碰到过这个问题
logstash,es版本均为6.4.1input { jdbc { jdbc_driver_library => "/opt/middleware/logstash-6.4.1/lib/mysql-connector-java-6.0.4.jar" jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/ad?characterEncoding=UTF-8&useSSL=false&serverTimezone=UTC" jdbc_user => "root" jdbc_password => "123456" statement_filepath => "/opt/middleware/logstash-6.4.1/config/alarm.sql" jdbc_paging_enabled => "true" jdbc_page_size => "5000" schedule => "* * * * *" } }[WARN ][logstash.inputs.jdbc ] Exception when executing JDBC query {:exception=>#<Sequel::DatabaseError: Java::JavaLang::IllegalArgumentException: MONTH>}
0
-
- cfpl12011124 问题已经解决，是因为在同步数据的时候，数据库中部分数据时间有问题，比如“2000-00-00”
- 9 个月之前 回复
检查下SQL语句，看问题描述，是日期的取值过程出了问题：
实在不行加个filter，把这个字段过滤掉：
filter {
mutate {
remove_field => ["你的表字段名",..]
}
}
0
- 其他相关推荐
- 使用logstash从 mysql 全量同步数据到elasticsearch
- 1.安装elasticsearch此处略过,安装logstash见官网：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html确认logstash是否安装好切换到logstash/bin目录如：cd logstash-6.2.4（使用centos yum安装logstash目录在/usr/share/log...
- logstash-input-mysql 全量和增量同步到ES
- 1、数据同步方式nn全量同步与增量同步nn全量同步是指全部将数据同步到es，通常是刚建立es，第一次同步时使用。增量同步是指将后续的更新、插入记录同步到es。nn2、常用的一些ES同步方法nn1）、 elasticsearch-jdbc : 严格意义上它已经不是第三方插件。已经成为独立的第三方工具。不支持5.5.1。。。2）、elasticsearch-river-mysql插件: https...
- logstash-input-jdbc增量、全量数据同步
- 一、场景nn笔者在mysql数据同步到ES中，发现第一次同步时需要全量的数据，之后则需要定时去同步增量数据，所以笔者提供增量和全量同步的conf供读者参考nn二、解决方案nn1、全量数据同步nn具体如何执行可参考https://blog.csdn.net/w_linux/article/details/84555506，这里提供conf的配置nnninput {n jdbc {n jdbc...
- Elasticsearch使用Logstash-input-jdbc同步mysql数据（全量和增量）（windows）
- 项目中用到elasticsearch，初始化数据时时写的程序从数据库里面查询出来，然后多线程往elasticsearch里面写入的。今天试了一下Logstash-input-jdbc插件，发现高效又方便，而且可以设置定时任务。1、安装插件在logstash的bin目录下执行命令： logstash-plugin install logstash-input-jdbc2、配置文件和jar包在bin目...
- 用LogStash同步MySQL数据至ES
- LogStash是一款用来同步数据至ES的工具。往ES中放置的数据体量都比较大。 n 在MySQL的应用场景里，也会存在数据体量到达一定程度——–&gt;此时MySQL自身的‘like’类查询并不能很好的支持查询要求,甚至可能会导致崩溃的情况。 n 这种时候，ES的作用就凸显出来了。它是专治庞大数据场景下的理想存在。 n 当你学会es的基本使用后，同步你所用数据库中的数据至ES也必将成为...
- logstash-input-jdbc插件实现关系型数据库和ES增量同步
- 环境安装nn从官网下载你要部署环境的相应安装包，这里以linux系统为例。 n选择与你的ES相同版本的logstash的tar.gz包，上传解压，进入解压目录下测试下。 n使用bin/logstash -e 'input { stdin { } } output { stdout {} }'，启动后输入任意内容后，如果有返回则表示安装成功 nnnnn使用logstash-input-jdbc插件n...
- logstash分批次同步大量数据
- 问题：用logstash同步mysql数据到elasticsearch，原始数据有几千万条，发现过了几十万条之后，到了后面同步就特别慢，无法完成同步原因： statement =&gt; "select * from t_wechat_message where id &gt; :sql_last_value"logstash配置文件中会配置同步时需要执行的sql，sql_last_value是内...
- logstash 导入数据，查看每秒导入的数据量及已导入数量和已导入时间
- logstash 导入数据，查看每秒导入的数据量及已导入数量和已导入时间pv命令可以作为实时的标准输入、标准输出监控。$ ./bin/logstash -f generator_dots.conf | pv -abt &gt; /dev/null2.2MiB 0:03:00 [12.5kiB/s]刚开始的时候JVM没有启动起来，速度是 0 B/s，会慢慢增长到稳定状态。在CentOS通过yum安装...
- Mysql海量数据迁移
- 问题nn项目中遇到对表数据全量迁移，表数据量比较大，基本上是在百万、千万级别。nnnn方案nnnnlimit方式nn首先最开始的方案就是简单粗暴最直接的Limit查询，这种方案对少量数据是可行的，但是到后面数据量大的时候 n再进行limit x,y 这个时候效率会很低，会执行全表扫描,例如nnnnselect * from table limit 150000,1000;nnn优点nn实现逻辑简单...
- 使用Logstash将Mysql数据增量同步到ElasticSearch搜索引擎
- 下载logstash：https://www.elastic.co/cn/downloads/logstash/nn解压到目录/usr/local下nn安装插件nnbin/logstash-plugin install logstash-input-jdbcnnbin/logstash-plugin install logstash-output-elasticsearchnn出现错误，Java ...
- logstash将mysql中的数据同步到es中，增量实时保存
- 编写demo.confnnninput {n jdbc {n type =&gt; "student"n jdbc_driver_library =&gt; "/home/ljj/software/logstash-6.3.1/tools/mysql-connector-java-5.1.46/mysql-connector-java-5.1.46.jar"n jdbc_dri...
- 百万级别数据量测试我的架构
- nn第一次加载，46秒耗时，什么问题，分页只是加载20条数据，为什么要这么久。定点： 居然是查询总数？赶快去dao层查看一下实现代码，我用的ORM是hibernate。nnnpublic Long count(String where, Object[] param) {n String hql = "select o.version " + getPageHql(where, param);n...
- 使用logstash同步MySQL数据到ES
- 概述：nn在生成业务常有将MySQL数据同步到ES的需求，如果需要很高的定制化，往往需要开发同步程序用于处理数据。但没有特殊业务需求，官方提供的logstash就很有优势了。nn在使用logstash我们赢先了解其特性，再决定是否使用：nn无需开发，仅需安装配置logstash即可；n 凡是SQL可以实现的logstash均可以实现（本就是通过sql查询数据）n 支持每次全量同步或按照特定字段（如...
- logstash同步mysql数据，多表同步配制
- input {rn stdin {rn }rn jdbc {rn # mysql jdbc connection string to our backup databsern jdbc_connection_string => "jdbc:mysql://192.168.42.147:3306/test"rn # the user we wish t
- 全量数据同步与数据校验实践——应对百亿量级分库分表异构库迁移
- 在一家发展中的公司搬砖，正好遇到分库分表，数据迁移的需求比较多，就入坑了。最近有个系统重构，一直做数据重构、迁移、校验等工作，基本能覆盖数据迁移的各个基本点，所以趁机整理一下。n数据同步的场景是：数据库拆分、数据冗余、数据表重构。n数据重构服务主要包括：全量迁移、全量数据校验、增量数据同步和增量数据校验四个功能。n本文主要讲述DB-DB全量迁移的通用解决方案，主要是解决几个问题：NO.1 如何把一个
- Logstash elasticsearch MySQL数据同步以及遇到问题解决
- 使用Logstash将MySQL数据同步到elasticsearch：nnnninput {n stdin {n }n jdbc {n jdbc_driver_library =&gt; "mysql-connector-java-5.1.46-bin.jar"n jdbc_driver_class =&gt; "com.mysql.jdbc.Driv...
- 大数据量同步方案之全量同步改为增量同步解决方案
- 背景描述：nn 在一些大数据运用场景中，由于上游数据每天都在变化着，在需要用这些数据的下游系统需要每天刷新这些变化的数据，当数据量小时候，简单粗暴的方式就是每次全量更新数据，但随着业务的增长，数据量成几何方式增长时（达到亿级别甚至更多），每次的更新工作将是耗时耗力的，也是业务方无法忍受的。此时，就需要一种解决方案变全量同步为增量同步。nnnn解决方案：nn 考虑到数据量基数虽然大，但每天变化的...
- 使用Logstash来实时同步MySQL数据到ES
- 本篇我们来实战从MYSQL里直接同步数据nn一、首先下载和你的ES对应的logstash版本，本篇我们使用的都是6.1.1nn 下载后使用logstash-plugin install logstash-input-jdbc 命令安装jdbc的数据连接插件nn nn二、新增mysqltoes.conf文件，配置Input和output参数如下，连接jdbc按照规则同步指定的数据到esn...
- linux环境下mysql数据库的数据通过logstash导入elasticsearch 6.x
- 这几天在研究elasticsearch6.x(es6.x),已经配置了kibana,ik智能分词,以及sugget搜索智能提示,如果大家需要可以评论我改天出个教程哦,搜索基本完成后想着如果有很多数据如何通过脚本添加到es里去,本来想着自己代码将数据库的数据查出来后多线程导入数据,,后来了解到有相关插件,大部分人说elasticsearch-jdbc这个还不错,但是在github上看到其2年前停止更...
- java后台搭建查询系统 elasticsearch + logstash 并同步MySql数据（附java源程序）
- 一、安装环境nnjava环境 略nnMySql 略nnelasticsearch 见文章，亲测可用：https://blog.csdn.net/u012888052/article/details/79710429nnhead插件 见文章，亲测可用：https://blog.csdn.net/u012888052/article/details/79710429nnlogstash 见文章，亲测可...
- Solr之Mysql数据库全量、增量同步-yellowcong
- Solr和数据库进行数据的同步，1、配置solrconfig.xml,2、配置data-config.xml，3.配置数据库（创建表和添加远程访问权限），4.配置schema.xml，5、添加jar包，6.系统时间和mysql时间同步，这样dataimport.properties 记录的更新索引时间和数据库时间一致，才能实现增量更新
- solr搜索引擎的使用(4)--增量、全量同步
- n全量同步： httpclient方式调用地址------&gt; http://xxx/solr/collection1/dataimport?command=full-import&amp;commit=true&amp;clean=truern rn增量同步： httpclient方式调用地址------&gt; ht...
- solr之mysql全量同步与增量同步
- 一、solr管理员命令nn二、案例实战说明(全量同步与增量同步)nn一、solr管理员命令nn我们在生产环境时,需要管理员维护solr服务器的数据信息,，那么这里有3种主要手段：nn1.curl方式nncurl http://localhost:8080/solr/update --data-binary "&lt;delete&gt;&lt;query&gt;title:abc&lt;/quer...
- 使用logstash和RabbitMQ增量同步数据库数据到Elasticsearch
- 最近在写一个电商项目，在项目中用到了Elasticsearch 6.3.0做搜索商品相关的功能，其中使用了ES插件logstash做数据同步。但是网上大部分都写的是使用logstash做全量同步，用sql将需要查询的数据查出来之后全量同步至ES中，可以设置定时同步任务，但是这种同步方式比较耗性能，网上还有介绍使用logstash做增量同步的，基本上是记录上次同步时间或者最后一条数据的id,然后下次...
- logstash-input-jdbc 同步原理及定时器
- 定时器： 多久执行一次SQL，默认是一分钟 nn# schedule =&gt; 分 时 天 月 年 n# schedule =&gt; * 22 * * * 表示每天22点执行一次n schedule =&gt; "nn前言：nn基于logstash-input-jdbc较其他插件的稳定性、易用性、版本和ES同步更新的特点，以下研究主要针对 logstash-input-...
- （1）Kettle数据抽取---全量抽取
- （1）Kettle数据抽取---全量抽取
- 百万级别的数据导入到MySQL库中的快速方法
- 最近在倒一张表数据到MySQL 库中时，用sql拼接感觉效率还是有点低rn于是到网上去谷歌了一把回来：rn网上也有人问到这个问题 并且也有相关的解答 其中我印象比较深的就是文件导入方法rn大概流程：rn建立一个 t.sql 文件文件里面的数据是这样的：rnINSERT INTO e_tuike_goods VALUES (1, 342, 23, 446, 0.0500, 'upload/10000
- Mysql百万级数据迁移实战笔记
- https://blog.csdn.net/qq_41790443/article/details/80885287nn背景nn上个月跟朋友一起做了个微信小程序，趁着5.20节日的热度，两个礼拜内迅速积累了一百多万用户，我们在小程序页面增加了收集formid的埋点，用于给微信用户发送模板消息通知。nn这个小程序一开始的后端逻辑是用douchat框架写的，使用框架自带的dc_mp_fans表存储微信...
- elasticsearch通过logstash同步mysql数据（中文分词）
- Elasticsearchnn目录nn概述nn索引（Index）nn类型（Type）nn文档（Document）nn倒排索引（Inverted Index）nn节点（Node）nn安装nn启动nnDSL(查询语句)nn官方文档nn查询语句的结构nn创建索引nn查询所有索引nn删除索引nn查看索引的mapping和settingnn查询所有索引中数据nn查询权重(boost)nn复合查询示例(boo...
- MySQL主从同步配置及存量数据同步方案
- 实践准备：rnrn准备两台服务器：rnrn主：192.168.8.10rn备：192.168.8.11rnrnrnMySQL的版本最好保持一致。rnrn步骤一： 授权给从服务器rnrn创建一个专门的同步账号：rnrnGRANT REPLICATION SLAVE ON . to 'repl'@'192.168.8.11' identified by 'passwd';rnrnrn步骤二： 查看主服
- ELK实战（一）Filebeat+Logstash发送Email告警日志（1）
- ELK实战（一）Filebeat+Logstash发送Email告警日志（1）ELK应用案例典型ELK应用架构本次我使用的架构（Filebeat+Logstash发送Email告警日志）使用的Filebeat+Logstash版本介绍，包括jdk。Filebeat配置文件讲解插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个...
- 记录一次线上迁库后对ES的数据全量同步
- n n n 环境n公司系统是为多个餐饮集团服务，目前多个餐饮集团的数据量扩增，所以需要将几个数量量大的集团单独拆开。目前的业务为报表数据查询ES，以防报表数据过多，mysql锁表（或锁行）时间过长。所以ES里的数据务必要保证与mysql一致（目前增量同步ES基于canal实现）。本次拆库由运维负责mysql按集团拆库，开发方负责ES的全量同步。n方案nn使用DataX...
- solr5.5配置定时全量、增量同步索引mysql数据
- 上篇文章中讲了如何下载solr、安装solr、启动、增加中文分词器、简单查询等传送门，这篇文章我们来配置solr定时全量和增量同步mysql数据。rn1、先看数据库表rnrn2、打开E:\solrHome\core1\conf文件夹下的data-config.xml文件，这个文件中主要配置数据源等信息，内容如下rnn n n n n <entity nam
- Mysql全量数据同步Oracle步骤详解
- 0、题记项目实战中我们会遇到数据库选型的问题，有时会需要将已有Mysql数据库中的数据库全部同步到Oracle数据库中。我们知道，Mysql的数据类型、sql语句和oracle是不通用的。所以，直接的导入、导出sql的方式在mysql与mysql之间可以，oracle与oracle之间可以，但是，在mysql和oracle之间是不可以的。这里，就有了这篇文章要探讨的问题：有没有比较快速的方式实现My
- jdbc操作 数据库做同步，全量+增量，线程控制，批处理
- 数据库做同步，全量+增量
- 通过logstash将数据导入mysql
- 1.确保已经安装logstashrn其实解压安装包就行rn2.安装logstash-output-jdbc插件rn在线安装:rnbin/logstash-plugin install logstash-output-jdbcrn离线安装:rn3.再装JDBC插件依赖，mysql-connector-java-5.1.47.ziprn解压mysql-connector-java-5.1.47.ziprn在logst...
- rsync完全教程+百万级小文件实时同步
- 1）在node1 node2上实现双向无密码验证n[root@node1 ~]# ssh-keygenn[root@node1 ~]# ssh-copy-id -i .ssh/id_rsa.pub node2n[root@node2 ~]# ssh-keygenn[root@node2 ~]# ssh-copy-id -i .ssh/id_rsa.pub node1n2）node1 no
- logstash 增量同步mysql的一对多记录到ES的Join类型
- rnES 我用的是6.5.1rnrnmysql 数据模型rnrnrnesdatabase 的建库语句rnrnCREATE DATABASE IF NOT EXISTS esdatabase DEFAULT CHARSET utf8 COLLATE utf8_general_ci;rnrnrnbrand建表语句rnrnCREATE TABLE `brand` (rn `ability_id` int auto_increm...
- 实战 | canal 实现Mysql到Elasticsearch实时增量同步
- 题记rnrn关系型数据库Mysql/Oracle增量同步Elasticsearch是持续关注的问题，也是社区、QQ群等讨论最多的问题之一。rn问题包含但不限于：rn1、Mysql如何同步到Elasticsearch?rn2、Logstash、kafka_connector、canal选型有什么不同，如何取舍？rn3、能实现同步增删改查吗？ …rn本文给出答案。rnrn1、Canal同步rn1.1 canal官方已支持...
- 增量and全量数据同步项目总结
- 这是我在公司接手的第一个项目，起初觉得好难啊，做完了以后觉得好简单啊~~~在这做下总结， 系统地把握这个项目，包括设计与实现。nnnn一、项目需求nn将多个数据源的多个表同步到相对应的本地数据库的数据表中。如果规定使用全量同步或者相对应的本地数据表为空，那么直接进行全量同步。同理，如果规定使用增量同步或者相对应的本地数据表不为空，那么使用增量同步。nnnn二、项目设计nn2.1 数据表的设计 n共