elasticsearch-logstash全量同步mysql百万级别数据问题？—

logstash全量同步mysql百万级别数据问题？

mysql单表数据大概300万左右。全量同步的时候每次同步到20000的时候就会报错。

[WARN ][logstash.inputs.jdbc     ] Exception when executing JDBC query {:exception=>#<Sequel::DatabaseError: Java::JavaLang::IllegalArgumentException: HOUR_OF_DAY: 2 -> 3>}

在连接数据的URL后面加上时区UTC或者CST又会报错MONTH
不知道有没有大神碰到过这个问题
logstash,es版本均为6.4.1

 input {
  jdbc {
    jdbc_driver_library => "/opt/middleware/logstash-6.4.1/lib/mysql-connector-java-6.0.4.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/ad?characterEncoding=UTF-8&useSSL=false&serverTimezone=UTC"
    jdbc_user => "root"
    jdbc_password => "123456"
    statement_filepath => "/opt/middleware/logstash-6.4.1/config/alarm.sql"
    jdbc_paging_enabled => "true"
    jdbc_page_size => "5000"
    schedule => "* * * * *"
  }
}

 [WARN ][logstash.inputs.jdbc     ] Exception when executing JDBC query {:exception=>#<Sequel::DatabaseError: Java::JavaLang::IllegalArgumentException: MONTH>}

发布于：2018.09.29 13:16

| 评论0 | 收藏 | 浏览2554 |

: cfpl12011124

声望： 0

2个回答

按赞数排序

你这个问题描述的不够全啊~~~，从报错来看，全量同步数据时，好像是你的关于日志的参数有错，多检查下业务逻辑吧。

发布于：2018.09.30 09:27

评论 1 |

: 明教一百零八代觉主

声望： 165

: cfpl12011124 问题已经解决，是因为在同步数据的时候，数据库中部分数据时间有问题，比如“2000-00-00”; 12 个月之前回复

检查下SQL语句，看问题描述，是日期的取值过程出了问题：
实在不行加个filter，把这个字段过滤掉：
filter {
mutate {
remove_field => ["你的表字段名",..]
}
}

发布于：2018.11.30 03:47

评论 0 |

: DawsonSYD

声望： 0

: 插入链接

本地上传网络图片

上传中...

浏览

上传图片

插入图片

其他相关推荐

使用logstash从 mysql 全量同步数据到elasticsearch: 1.安装elasticsearch此处略过,安装logstash见官网：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html确认logstash是否安装好切换到logstash/bin目录如：cd logstash-6.2.4（使用centos yum安装logstash目录在/usr/share/log...

solr之mysql全量同步与增量同步: 一、solr管理员命令二、案例实战说明(全量同步与增量同步) 一、solr管理员命令我们在生产环境时,需要管理员维护solr服务器的数据信息,，那么这里有3种主要手段： 1.curl方式 curl http://localhost:8080/solr/update --data-binary "&lt;delete&gt;&lt;query&gt;title:abc&lt;/quer...

MySQL百万级别数据存储: MySQL百万级别数据存储：https://blog.csdn.net/miss_audrey/article/details/80856963

百万级别数据的更新: 1.存储过程批量更新 declare v_int number; v_loanid varchar(100); v_tmName varchar(100); v_tmMobile varchar(100); v_tmPid varchar(100); cursor yb is select loanid,tmName,tmMobile,tmPid from bhzx_c1_t...

logstash同步mysql到elasticsearch: logstash同步mysql到elasticsearch,其中包括同步的配置文件和mysql驱动

Sqoop全量同步mysql/Oracle数据到hive: Oracle通过sqoop增量同步数据到hive

百万级别数据，相似数据查找问题: 有一个表table里面存放的是企业信息，有300多万条数据，企业名称字段叫UnitName，现在的问题是想找到与某个企业名称相似的10个企业数据，按照相似度从大到小排序。rn现在用的查询语句是这样：rnSELECT TOP 11 a.*rnFROM table AS a INNER JOIN FREETEXTTABLE(table, UnitName, '北京联讯信达科技有限公司') AS brnON a.ID = b.[KEY]rnORDER BY b.RANK DESCrn获取11个，是因为需要去掉被查询的目标企业数据。rnrn服务器是西数云主机，4核、6G内存，查询一次需要25秒。请教一下高手，这个如何能够优化查询性能呢。[img=https://forum.csdn.net/PointForum/ui/scripts/csdn/Plugin/001/face/83.gif][/img]

mysql百万级别数据查询心得: 作为第一次接触百万级别数据的查询的我来说一直觉得这是很神奇很强大的一门技术，总以为需要进行表分割啊，负载均衡之类的才能做到查询优化。其实不然，这个级别的数据查询我们只需要有效的利用索引，书写比较高效的sql就能做到（所谓比较高效其实就是尽量少用is not null ，不要使用like ‘%XX’等会造成索引失效的sql啦，这个度娘上很多例子的）。就我自己的案例讲讲一些注意事项吧：这是

Logstash 从mysql导入到Elasticsearch（全量导入）: 1.elasticsearch版本：7.1.1 2.logstash版本：7.1.1 步骤在logstash目录下建立目录mysql_plugin 目录下建立一个xxxx.conf文件名字随意建立sql文件 xxx.conf input { stdin { } jdbc { jdbc_connec...

mysql全量备份: #!/bin/sh # by liyuan date=`date +%Y-%m-%d` backup_path='/data/mysqlbak/' for database in `cat ${backup_path}db.txt`; do /alidata/server/mysql-5.5.37/bin/mysqldump -uroot -p****** --master-data $

Mysql的全量和增量备份: 一、测试环境 Ubuntu16.04， mysql 14.14 Distrib 5.7.23, for Linux (x86_64) ， Windows 10， mysql：mysql-server-5.7.22.0（mysql-installer-community-5.7.22.0） workbench：8.0.11 RC full_backup.sh #!/bin/bash db_use...

单表过百万级别同步数据sql写法: 0 概述实际工作中我们很可能要将某张表数据全部导入到其它表中，当单表数据过大（超过百万）如果使用sql不当会扫描数据时候比较慢甚至造成故障。1 实例分析简单的表结构如下（500w数据）CREATE TABLE `User` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT, `userId` bigint(20) unsigned NOT

Redis主从同步：全量同步增量同步: 日常工作中使用的Redis集群是一主多从的架构模型（如下图，主1+主2组成一套完整的数据），当主1发生宕机时，会切写到从（为了方便制作预案主1主2会同时切，分别切向从1从2作为新的主），此时面临的问题是主2没有宕机，如果直接写从2，那写进从2的数据会不会被主2重新覆盖（主2没有宕机）？针对以上问题引申出Redis主从同步的机制问题，学习了解后记录如下： Redis主从同步分为两种机制：全...

百万级数据多表同步: 只说思路！只说思路！只说思路！应用场景：百万级数据多表同步实现思路：我用的是redis的list类型，我当初的应用场景是因为平台开始设计时候并没有打算把所有流水记录放在一个表中，而是一种币种，一个流水表。像这种假如说我想对所有币种进行一个查询、条件搜索、修改、分页、该怎么实现？触发器？ unin all ? 不现实的。最后我实现的思路是用redis的队列进行一个异步增改...

Oracle百万级别数据导出!: 现在有个问题是需要一次性导出100W条数据到文件,例如导出txt文件rn我采用两种方法读取数据写入txt,rn第一种,采用存储过程,分批次读取.rn第二种,采用后台拼接成Sql语句的方式读取rnrn测试发现如果每次读取10W条的话,第一种方式初次读取数据会比第二种快,也就是说生成的第一个10W条文件速度要快,rnrn其实两种方式最后所拼接的Sql语句都是一样,只不过一种是采用存储过程,一种是后台程序拼接的方式.这是如何处理?rnrn因为后台程序拼接方式比较适宜不限长度的情况,如果用存储过程的话可能需要考虑传递的参数最大不能过8000这一点很麻烦.rnrn所以请问有没有更好的办法呢?rnrn

Redis百万级别数据迁移: 【前言】我们是做的国外的项目，最开始的时候调研在国外亚马逊云在可靠性等方面还是具有很大优势，于是我们的项目都部署在亚马逊云上；我们业务发展十分不错，随着项目越来越大，用到的机器越来越多，同时亚马逊的成本也在不断攀升；最近一段时间我们又针对国外市场进行了各方面（成本，可靠性等）进行调研，最终决定将所有业务及数据从亚马逊云迁移至阿里云；当然迁移也是个有挑战的事...

elasticsearch字段distinct去重后统计的几种方案和适用场景: 为了实现类似等价的sql： SELECT COUNT(DISTINCT deviceID) FROM t_order_report; 为什么我要说类似等价呢？因为从精确性、性能等角度还是存在很大的差别！前置条件，场景为：用户可以通过时间、套餐类型、订单状态等等查询条件，过滤出满足条件的设备数信息因此使用deviceID+各种限制条件作...

百万级别limit的优化: 需要写一个脚本去取test表的数据数据量为一百三十多万条数据用php分批次执行像这样一次执行一万条但是还是很慢啊有什么更好的办法优化一下吗这个脚本只要一执行 cpu占用率立马飙到30% 以下是sql语句 rnSELECT * FROM gt_long_keywords WHERE is_pin = 0 LIMIT 0,10000rnSELECT * FROM gt_long_keywords WHERE is_pin = 0 LIMIT 10000,10000rnSELECT * FROM gt_long_keywords WHERE is_pin = 0 LIMIT 20000,10000rnSELECT * FROM gt_long_keywords WHERE is_pin = 0 LIMIT 30000,10000rnSELECT * FROM gt_long_keywords WHERE is_pin = 0 LIMIT 40000,10000rnSELECT * FROM gt_long_keywords WHERE is_pin = 0 LIMIT 50000,10000rnSELECT * FROM gt_long_keywords WHERE is_pin = 0 LIMIT 60000,10000rnSELECT * FROM gt_long_keywords WHERE is_pin = 0 LIMIT 70000,10000rnSELECT * FROM gt_long_keywords WHERE is_pin = 0 LIMIT 80000,10000rnSELECT * FROM gt_long_keywords WHERE is_pin = 0 LIMIT 90000,10000rnSELECT * FROM gt_long_keywords WHERE is_pin = 0 LIMIT 100000,10000rnrn求指教rn

百万级别数据库优化技巧: 优化方向：SQL语句优化、索引、分表...

asp 存储过程，百万级别: asp 存储过程百万级别，服务器压力测试

mysql增量备份和全量备份: 项目需要对mysql数据库每天进行一次增量备份，一周进行一次全量备份，研究了大半天，整理出来的脚本，其实停简单的，理解了binlog其实就是so easy. 1.前提必须要开启bin-log才可以。开启的方式在my.ini或my.cnf文件中。(我自己windows上装的5.5，linux上装的5.6) 5.6版本bin-log不能指定路径，只需要将log_bin前面的注释去掉

mysql全量备份、增量备份: mysql备份

mysql 备份与恢复(全量与增量): 全量备份使用自带的mysqldump命令备份命令mysqldump -u[username] -p[password] [database] [table] > backup.sql恢复命令mysql -u[username] -p[password] [database] 注意恢复命令是mysql不是mysqldump了。增量备份与恢复我们开启日志功能，在进行备份后，在指定目录下会产生当次备份

mysql的增量备份与全量备份: mysql的全量备份与增量备份全量备份：可以使用mysqldump直接备份整个库或者是备份其中某一个库或者一个库中的某个表。备份所有数据库： [root@my ~]# mysqldump -uroot -p123456 --all-databases >/opt/all.sql mysqldump: [Warning] Using a password on the command ...

mysql全量备份脚本: #!/bin/sh # Program # use mysqldump to Fully backup mysql data per week! # History # 2013-04-27 guo first # Path # .... BakDir=/drosin/backup/mysql LogFile=/drosin/backup/mysql/ba

mysql 全量备份和增量备份: mysql 全量备份脚本 #!/bin/bash Data_back="/data/data_backup/"; Date=`date +"%Y_%m_%d"` mysqldump -uroot -proot --quick --events --flush-logs --single-transaction XXXX> ${Data_back}XXXX_${Date}.sql mys

mysql 全同步: SET SQL_LOG_BIN=0; GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%' identified by 'ssH+101010'; FLUSH PRIVILEGES; reset master; SET SQL_LOG_BIN=1; CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_P...

大数据量同步方案之全量同步改为增量同步解决方案: 背景描述：　　在一些大数据运用场景中，由于上游数据每天都在变化着，在需要用这些数据的下游系统需要每天刷新这些变化的数据，当数据量小时候，简单粗暴的方式就是每次全量更新数据，但随着业务的增长，数据量成几何方式增长时（达到亿级别甚至更多），每次的更新工作将是耗时耗力的，也是业务方无法忍受的。此时，就需要一种解决方案变全量同步为增量同步。解决方案：　　考虑到数据量基数虽然大，但每天变化的...

全量数据接入——设计方案: 全量数据接入的过程本质上是数据集群件复杂的事件同步与时间相应的过程，涉及到触发、反馈、反馈状态检查、分批等。因此，需要有一个事件控制组件作为基础。一、事件控制组件 1.1 使用zk同步数据 zk路径规划: ${zk_base}/${event_group}/${date}/${event_name}/${event_version}.info 说明：${event_version}.i...

利用logstash实现mysql和elasticsearch同步: 1、本课程使用的ES版本是5.x 以上版本 n2、本课程是引导课程。更多的是学习方法和套路教学，而不是过知识点、过函数 n3、工具类、框架类官方更新很快，我们更多的是要学习如何适应变化，而不是背知识点 n4、本课程需要有一定的课后主观能动性。和简单的Linux、java基础

Solr之Mysql数据库全量、增量同步-yellowcong: Solr和数据库进行数据的同步，1、配置solrconfig.xml,2、配置data-config.xml，3.配置数据库（创建表和添加远程访问权限），4.配置schema.xml，5、添加jar包，6.系统时间和mysql时间同步，这样dataimport.properties 记录的更新索引时间和数据库时间一致，才能实现增量更新

Elasticsearch获取全量数据: SearchRequestBuilder srb = Tool.CLIENT.prepareSearch(indexName).setTypes(typeName); SearchResponse sResponse = srb.setSize(1000).addSort("create_time", SortOrder.DESC).get();

Kettle 全量抽取数据: 本例子，来源表是一个oracle视图，目的表是一个oracle表，采用“表输入—表输出”进行ETL。 1.在Spoon中，打开核心对象——表输入数据库连接中选择 DB连接中的视图，SQL语句是相关的视图，需要哪些字段、过滤哪些条件，都是在SQL里面设置。如下图所示。 2.在Spoon中，打开核心对象——表输出选择数据库连接，目标模式是oracle的...

logstash-input-mysql 全量和增量同步到ES: 1、数据同步方式全量同步与增量同步全量同步是指全部将数据同步到es，通常是刚建立es，第一次同步时使用。增量同步是指将后续的更新、插入记录同步到es。 2、常用的一些ES同步方法 1）、 elasticsearch-jdbc : 严格意义上它已经不是第三方插件。已经成为独立的第三方工具。不支持5.5.1。。。2）、elasticsearch-river-mysql插件: https...

elasticsearch and logstash版本6.2.4同步mysql: elasticsearch and logstash版本6.2.4环境集成工具，可以在windows、linux环境集成，在博客空间给实例出来，同步mysql数据搭建工具

solr 配置自动同步数据库数据(全量,增量): solr 配置自动同步数据库数据(全量,增量) solr6.3.3 mysql-connector-java-5.1.45-bin.jar solr 以 jetty 方式部署 (非tomcat) * 1.将 mysql-connector-java-5.1.45-bin.jar 放到 ./dist下 * 2. 修改数据仓库下的配置文件 ./collocat...

数据实时增量同步与全量拉取: 本课程基于某电商公司运营实时分析系统（2B），进行全方位、无死角系统讲解。通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而一站式全面、深入掌握Flink技术。

MySQL修改百万数据存储位置: 修改MySQL数据库物理文件存放位置，需要在MySQL配置文件中修改相关的Path路径参数。在安装MySQL5.7后，其安装目录下没有找到数据库的物理文件，最后经过查找发现其在“C:\ProgramData\MySQL\MySQL Server 5.7”下，MySQL的配置文件（主要的）“my.ini”也在这个路径下。查看MySQL的配置文件所在路径（my.ini配置文件与dada文件）...

Mysql百万数据分页查询优化: 利用表的覆盖索引来加速分页查询我们都知道，利用了索引查询的语句中如果只包含了那个索引列（覆盖索引），那么这种情况会查询很快。因为利用索引查找有优化算法，且数据就在查询索引上面，不用再去找相关的数据地址了，这样节省了很多时间。另外Mysql中也有相关的索引缓存，在并发高的时候利用缓存就效果更好了。select * from Problem_submit order by id desc lim

MySQL导入百万数据实践: 日常开发过程中，会遇到数据库转移，分库等操作，数据少的时候，可以借用navicate来操作，对于大批量数据来说，工具就变得笨拙，百万级数据可能导入需要花上一整天，这是不能接受的。 mysql提供了一个专门针对大数据导入的命令： LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name' [REPLACE | IGNORE]...