logstash全量同步mysql百万级别数据问题?

mysql单表数据大概300万左右。全量同步的时候每次同步到20000的时候就会报错。

[WARN ][logstash.inputs.jdbc     ] Exception when executing JDBC query {:exception=>#<Sequel::DatabaseError: Java::JavaLang::IllegalArgumentException: HOUR_OF_DAY: 2 -> 3>}

在连接数据的URL后面加上时区UTC或者CST又会报错MONTH
不知道有没有大神碰到过这个问题
logstash,es版本均为6.4.1

 input {
  jdbc {
    jdbc_driver_library => "/opt/middleware/logstash-6.4.1/lib/mysql-connector-java-6.0.4.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/ad?characterEncoding=UTF-8&useSSL=false&serverTimezone=UTC"
    jdbc_user => "root"
    jdbc_password => "123456"
    statement_filepath => "/opt/middleware/logstash-6.4.1/config/alarm.sql"
    jdbc_paging_enabled => "true"
    jdbc_page_size => "5000"
    schedule => "* * * * *"
  }
}
 [WARN ][logstash.inputs.jdbc     ] Exception when executing JDBC query {:exception=>#<Sequel::DatabaseError: Java::JavaLang::IllegalArgumentException: MONTH>}
0

2个回答

你这个问题描述的不够全啊~~~,从报错来看,全量同步数据时,好像是你的关于日志的参数有错,多检查下业务逻辑吧。

0
cfpl12011124
cfpl12011124 问题已经解决,是因为在同步数据的时候,数据库中部分数据时间有问题,比如“2000-00-00”
11 个月之前 回复

检查下SQL语句,看问题描述,是日期的取值过程出了问题:
实在不行加个filter,把这个字段过滤掉:
filter {
mutate {
remove_field => ["你的表字段名",..]
}
}

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
使用logstash从 mysql 全量同步数据到elasticsearch
1.安装elasticsearch此处略过,安装logstash见官网:https://www.elastic.co/guide/en/logstash/current/installing-logstash.html确认logstash是否安装好切换到logstash/bin目录如:cd logstash-6.2.4(使用centos yum安装logstash目录在/usr/share/log...
logstash-input-mysql 全量和增量同步到ES
1、数据同步方式 全量同步与增量同步 全量同步是指全部将数据同步到es,通常是刚建立es,第一次同步时使用。增量同步是指将后续的更新、插入记录同步到es。 2、常用的一些ES同步方法 1)、 elasticsearch-jdbc : 严格意义上它已经不是第三方插件。已经成为独立的第三方工具。不支持5.5.1。。。2)、elasticsearch-river-mysql插件:   https...
Elasticsearch使用Logstash-input-jdbc同步mysql数据(全量和增量)(windows)
项目中用到elasticsearch,初始化数据时时写的程序从数据库里面查询出来,然后多线程往elasticsearch里面写入的。今天试了一下Logstash-input-jdbc插件,发现高效又方便,而且可以设置定时任务。1、安装插件在logstash的bin目录下执行命令: logstash-plugin install logstash-input-jdbc2、配置文件和jar包在bin目...
logstash-input-jdbc增量、全量数据同步
一、场景 笔者在mysql数据同步到ES中,发现第一次同步时需要全量的数据,之后则需要定时去同步增量数据,所以笔者提供增量和全量同步的conf供读者参考 二、解决方案 1、全量数据同步 具体如何执行可参考https://blog.csdn.net/w_linux/article/details/84555506,这里提供conf的配置 input { jdbc { jdbc...
用LogStash同步MySQL数据至ES
  LogStash是一款用来同步数据至ES的工具。往ES中放置的数据体量都比较大。   在MySQL的应用场景里,也会存在数据体量到达一定程度——–&amp;gt;此时MySQL自身的‘like’类查询并不能很好的支持查询要求,甚至可能会导致崩溃的情况。   这种时候,ES的作用就凸显出来了。它是专治庞大数据场景下的理想存在。   当你学会es的基本使用后,同步你所用数据库中的数据至ES也必将成为...
logstash分批次同步大量数据
问题:用logstash同步mysql数据到elasticsearch,原始数据有几千万条,发现过了几十万条之后,到了后面同步就特别慢,无法完成同步原因: statement =&amp;gt; &quot;select * from t_wechat_message where id &amp;gt; :sql_last_value&quot;logstash配置文件中会配置同步时需要执行的sql,sql_last_value是内...
logstash 导入数据,查看每秒导入的数据量及已导入数量和已导入时间
logstash 导入数据,查看每秒导入的数据量及已导入数量和已导入时间pv命令可以作为实时的标准输入、标准输出监控。$ ./bin/logstash -f generator_dots.conf | pv -abt &amp;gt; /dev/null2.2MiB 0:03:00 [12.5kiB/s]刚开始的时候JVM没有启动起来,速度是 0 B/s,会慢慢增长到稳定状态。在CentOS通过yum安装...
logstash-input-jdbc插件实现关系型数据库和ES增量同步
环境安装 从官网下载你要部署环境的相应安装包,这里以linux系统为例。 选择与你的ES相同版本的logstash的tar.gz包,上传解压,进入解压目录下测试下。 使用bin/logstash -e 'input { stdin { } } output { stdout {} }',启动后输入任意内容后,如果有返回则表示安装成功 使用logstash-input-jdbc插件 ...
全量数据同步与数据校验实践——应对百亿量级分库分表异构库迁移
在一家发展中的公司搬砖,正好遇到分库分表,数据迁移的需求比较多,就入坑了。最近有个系统重构,一直做数据重构、迁移、校验等工作,基本能覆盖数据迁移的各个基本点,所以趁机整理一下。 数据同步的场景是:数据库拆分、数据冗余、数据表重构。 数据重构服务主要包括:全量迁移、全量数据校验、增量数据同步和增量数据校验四个功能。 本文主要讲述DB-DB全量迁移的通用解决方案,主要是解决几个问题:NO.1 如何把一个
使用Logstash将Mysql数据增量同步到ElasticSearch搜索引擎
下载logstash:https://www.elastic.co/cn/downloads/logstash/ 解压到目录/usr/local下 安装插件 bin/logstash-plugin install logstash-input-jdbc bin/logstash-plugin install logstash-output-elasticsearch 出现错误,Java ...
Mysql海量数据迁移
问题 项目中遇到对表数据全量迁移,表数据量比较大,基本上是在百万、千万级别。 方案 limit方式 首先最开始的方案就是简单粗暴最直接的Limit查询,这种方案对少量数据是可行的,但是到后面数据量大的时候 再进行limit x,y 这个时候效率会很低,会执行全表扫描,例如 select * from table limit 150000,1000; 优点 实现逻辑简单...
logstash将mysql中的数据同步到es中,增量实时保存
编写demo.conf input { jdbc { type =&amp;gt; &quot;student&quot; jdbc_driver_library =&amp;gt; &quot;/home/ljj/software/logstash-6.3.1/tools/mysql-connector-java-5.1.46/mysql-connector-java-5.1.46.jar&quot; jdbc_dri...
百万级别数据量测试我的架构
第一次加载,46秒耗时,什么问题,分页只是加载20条数据,为什么要这么久。定点: 居然是查询总数?赶快去dao层查看一下实现代码,我用的ORM是hibernate。 public Long count(String where, Object[] param) { String hql = &quot;select o.version &quot; + getPageHql(where, param); ...
Logstash elasticsearch MySQL数据同步以及遇到问题解决
使用Logstash将MySQL数据同步到elasticsearch: input { stdin { } jdbc { jdbc_driver_library =&amp;gt; &quot;mysql-connector-java-5.1.46-bin.jar&quot; jdbc_driver_class =&amp;gt; &quot;com.mysql.jdbc.Driv...
Logstash 从mysql导入到Elasticsearch(全量导入)
1.elasticsearch版本:7.1.1 2.logstash版本:7.1.1 步骤 在logstash目录下建立目录mysql_plugin 目录下建立一个xxxx.conf文件 名字随意 建立sql文件 xxx.conf input { stdin { } jdbc { jdbc_connec...
大数据量同步方案之全量同步改为增量同步解决方案
背景描述:   在一些大数据运用场景中,由于上游数据每天都在变化着,在需要用这些数据的下游系统需要每天刷新这些变化的数据,当数据量小时候,简单粗暴的方式就是每次全量更新数据,但随着业务的增长,数据量成几何方式增长时(达到亿级别甚至更多),每次的更新工作将是耗时耗力的,也是业务方无法忍受的。此时,就需要一种解决方案变全量同步为增量同步。 解决方案:   考虑到数据量基数虽然大,但每天变化的...
亿级数据从 MySQL 到 Hbase 的三种同步方案与实践
本节 Chat 为理论与实践结合课,面向零基础 MySQL 同步 Hbase 人员,会给以小数据供大家练习。主要包含以下内容: 从亿级数据快速如何插入 MySQL 开始,讲解多种插入方式; 从快速插到入到 binlog 日志讲解,用实际例子描述 binlog; 从 Maxwell 谈 binlog 日志提取,分析 binlog 日志内容; 从 0 到 1 讲解如何构建 Hadoop 分布式搭建;...
Solr之Mysql数据库全量、增量同步-yellowcong
Solr和数据库进行数据的同步,1、配置solrconfig.xml,2、配置data-config.xml,3.配置数据库(创建表和添加远程访问权限),4.配置schema.xml,5、添加jar包,6.系统时间和mysql时间同步,这样dataimport.properties 记录的更新索引时间和数据库时间一致,才能实现增量更新
linux环境下mysql数据库的数据通过logstash导入elasticsearch 6.x
这几天在研究elasticsearch6.x(es6.x),已经配置了kibana,ik智能分词,以及sugget搜索智能提示,如果大家需要可以评论我改天出个教程哦,搜索基本完成后想着如果有很多数据如何通过脚本添加到es里去,本来想着自己代码将数据库的数据查出来后多线程导入数据,,后来了解到有相关插件,大部分人说elasticsearch-jdbc这个还不错,但是在github上看到其2年前停止更...
solr之mysql全量同步与增量同步
一、solr管理员命令 二、案例实战说明(全量同步与增量同步) 一、solr管理员命令 我们在生产环境时,需要管理员维护solr服务器的数据信息,,那么这里有3种主要手段: 1.curl方式 curl http://localhost:8080/solr/update --data-binary &quot;&amp;lt;delete&amp;gt;&amp;lt;query&amp;gt;title:abc&amp;lt;/quer...
百万级数据多表同步
只说思路!只说思路!只说思路! 应用场景:百万级数据多表同步 实现思路:我用的是redis的list类型,我当初的应用场景是因为平台开始设计时候并没有打算把所有流水记录放在一个表中,而是一种币种,一个流水表。 像这种 假如说我想对所有币种进行一个查询、条件搜索、修改、分页、该怎么实现?触发器? unin all ? 不现实的。 最后我实现的思路是用redis的队列 进行一个异步增改...
(1)Kettle数据抽取---全量抽取
(1)Kettle数据抽取---全量抽取
mysql主从复制搭建
mysql主从复制搭建
solr搜索引擎的使用(4)--增量、全量同步
全量同步:          httpclient方式调用地址------&amp;gt;           http://xxx/solr/collection1/dataimport?command=full-import&amp;amp;commit=true&amp;amp;clean=true   增量同步:          httpclient方式调用地址------&amp;gt;          ht...
使用Logstash来实时同步MySQL数据到ES
本篇我们来实战从MYSQL里直接同步数据 一、首先下载和你的ES对应的logstash版本,本篇我们使用的都是6.1.1        下载后使用logstash-plugin install logstash-input-jdbc 命令安装jdbc的数据连接插件   二、新增mysqltoes.conf文件,配置Input和output参数如下,连接jdbc按照规则同步指定的数据到es ...
百万级别的数据导入到MySQL库中的快速方法
最近在倒一张表数据到MySQL 库中时,用sql拼接感觉效率还是有点低 于是到网上去谷歌了一把回来: 网上也有人问到这个问题 并且也有相关的解答 其中我印象比较深的就是文件导入方法 大概流程: 建立一个 t.sql 文件文件里面的数据是这样的: INSERT INTO e_tuike_goods VALUES (1, 342, 23, 446, 0.0500, 'upload/10000
logstash从MySQL导入数据到ElasticSearch的配置
input { stdin { } jdbc { # 数据库 jdbc_connection_string =&amp;gt; &quot;jdbc:mysql://172.0.0.1:3306/inssa?characterEncoding=UTF-8&amp;amp;useSSL=false&quot; # 用户名密码 jdbc_user =&amp;gt; &quot;r...
elasticsearch通过logstash同步mysql数据(中文分词)
Elasticsearch 目录 概述 索引(Index) 类型(Type) 文档(Document) 倒排索引(Inverted Index) 节点(Node) 安装 启动 DSL(查询语句) 官方文档 查询语句的结构 创建索引 查询所有索引 删除索引 查看索引的mapping和setting 查询所有索引中数据 查询权重(boost) 复合查询示例(boo...
使用logstash和RabbitMQ增量同步数据库数据到Elasticsearch
最近在写一个电商项目,在项目中用到了Elasticsearch 6.3.0做搜索商品相关的功能,其中使用了ES插件logstash做数据同步。但是网上大部分都写的是使用logstash做全量同步,用sql将需要查询的数据查出来之后全量同步至ES中,可以设置定时同步任务,但是这种同步方式比较耗性能,网上还有介绍使用logstash做增量同步的,基本上是记录上次同步时间或者最后一条数据的id,然后下次...
java后台搭建查询系统 elasticsearch + logstash 并同步MySql数据(附java源程序)
一、安装环境 java环境 略 MySql 略 elasticsearch 见文章,亲测可用:https://blog.csdn.net/u012888052/article/details/79710429 head插件 见文章,亲测可用:https://blog.csdn.net/u012888052/article/details/79710429 logstash 见文章,亲测可...
Mysql全量数据同步Oracle步骤详解
0、题记项目实战中我们会遇到数据库选型的问题,有时会需要将已有Mysql数据库中的数据库全部同步到Oracle数据库中。我们知道,Mysql的数据类型、sql语句和oracle是不通用的。所以,直接的导入、导出sql的方式在mysql与mysql之间可以,oracle与oracle之间可以,但是,在mysql和oracle之间是不可以的。这里,就有了这篇文章要探讨的问题:有没有比较快速的方式实现My
使用logstash同步MySQL数据到ES
概述: 在生成业务常有将MySQL数据同步到ES的需求,如果需要很高的定制化,往往需要开发同步程序用于处理数据。但没有特殊业务需求,官方提供的logstash就很有优势了。 在使用logstash我们赢先了解其特性,再决定是否使用: 无需开发,仅需安装配置logstash即可; 凡是SQL可以实现的logstash均可以实现(本就是通过sql查询数据) 支持每次全量同步或按照特定字段(如...
增量and全量数据同步项目总结
这是我在公司接手的第一个项目,起初觉得好难啊,做完了以后觉得好简单啊~~~在这做下总结, 系统地把握这个项目,包括设计与实现。 一、项目需求 将多个数据源的多个表同步到相对应的本地数据库的数据表中。如果规定使用全量同步或者相对应的本地数据表为空,那么直接进行全量同步。同理,如果规定使用增量同步或者相对应的本地数据表不为空,那么使用增量同步。 二、项目设计 2.1 数据表的设计 共
记录一次线上迁库后对ES的数据全量同步
环境 公司系统是为多个餐饮集团服务,目前多个餐饮集团的数据量扩增,所以需要将几个数量量大的集团单独拆开。目前的业务为报表数据查询ES,以防报表数据过多,mysql锁表(或锁行)时间过长。所以ES里的数据务必要保证与mysql一致(目前增量同步ES基于canal实现)。本次拆库由运维负责mysql按集团拆库,开发方负责ES的全量同步。 方案 使用DataX...
rsync完全教程+百万级小文件实时同步
1)在node1 node2上实现双向无密码验证 [root@node1 ~]# ssh-keygen [root@node1 ~]# ssh-copy-id -i .ssh/id_rsa.pub node2 [root@node2 ~]# ssh-keygen [root@node2 ~]# ssh-copy-id -i .ssh/id_rsa.pub node1 2)node1 no
logstash-input-jdbc 同步原理及相关问题解读
前言:基于logstash-input-jdbc较其他插件的稳定性、易用性、版本和ES同步更新的特点,以下研究主要针对 logstash-input-jdbc 展开。 针对logstash-input-jdbc常见的几个疑难问题,部分问题也在git和stackoverflow进行了激烈讨论,以下统一给出验证和解答。1、logstash-input-jdbc 的同步原理是什么?(1)、对于全量同步依
MYSQL千万级别数据量迁移Elasticsearch5.6.1实战
从关系型库中迁移数据算是比较常见的场景,这里借助两个工具来完成本次的数据迁移,考虑到数据量并不大(不足两千万),未采用snapshot快照的形式进行。Elasticsearch-jdbc,Github地址:https://github.com/jprante/elasticsearch-jdbc,从插件管方的兼容版本看,是不支持直接写入elasticsearch 5.6.1及更高版本中。Relea...
solr导入百万级的数据库内存溢出
在data-config.xml文件标签里添加batchSize="-1"; 如下: url="jdbc:mysql://192.168.0.141:3306/onion"  user="root" password="iycong"/> 然后重启tomcat; 进入solr管理界面dataimport
Mysql百万级数据迁移实战笔记
背景 上个月跟朋友一起做了个微信小程序,趁着5.20节日的热度,两个礼拜内迅速积累了一百多万用户,我们在小程序页面增加了收集formid的埋点,用于给微信用户发送模板消息通知。 这个小程序一开始的后端逻辑是用douchat框架写的,使用框架自带的dc_mp_fans表存储微信端授权登录的用户信息,使用dc_mp_tempmsg表存储formid。截止到目前,收集到的数据超过380万,很大一部分fo...
solr5.5配置定时全量、增量同步索引mysql数据
上篇文章中讲了如何下载solr、安装solr、启动、增加中文分词器、简单查询等传送门,这篇文章我们来配置solr定时全量和增量同步mysql数据。 1、先看数据库表 2、打开E:\solrHome\core1\conf文件夹下的data-config.xml文件,这个文件中主要配置数据源等信息,内容如下 <entity nam