mysql单表数据大概300万左右。全量同步的时候每次同步到20000的时候就会报错。 ``` [WARN ][logstash.inputs.jdbc ] Exception when executing JDBC query {:exception=>#<Sequel::DatabaseError: Java::JavaLang::IllegalArgumentException: HOUR_OF_DAY: 2 -> 3>} ``` 在连接数据的URL后面加上时区UTC或者CST又会报错MONTH 不知道有没有大神碰到过这个问题 logstash,es版本均为6.4.1 ``` input { jdbc { jdbc_driver_library => "/opt/middleware/logstash-6.4.1/lib/mysql-connector-java-6.0.4.jar" jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/ad?characterEncoding=UTF-8&useSSL=false&serverTimezone=UTC" jdbc_user => "root" jdbc_password => "123456" statement_filepath => "/opt/middleware/logstash-6.4.1/config/alarm.sql" jdbc_paging_enabled => "true" jdbc_page_size => "5000" schedule => "* * * * *" } } ``` ``` [WARN ][logstash.inputs.jdbc ] Exception when executing JDBC query {:exception=>#<Sequel::DatabaseError: Java::JavaLang::IllegalArgumentException: MONTH>} ```

现在的问题是每次同步都是全量，导致每同步一次，表中的所有数据都会再同步一次，然后es中就会出现很多重复的数据。 请问各位大神们，如果避免这种情况。

如何利用利用logstash_input_jdbc，把mongodb上的数据同步到MySQL，配置文件如何填写

es映射文件： ``` { "mappings": { "_doc": { "properties": { "@timestamp" : { "type" : "date" }, "orderNo": { "type": "keyword" }, "comSubCode": { "type": "keyword" } } } } } ``` sql： ``` SELECT order_main.order_no AS orderNo, order_main.com_sub_code AS comSubCode FROM order_main ``` 执行的sh脚本： ``` #!/bin/sh source ./gloable.sh indexFile="my_index_company_order_report" index="my_index_company_order_report$SUFFIX" index_type="_doc" index_data="my_index_company_order_report_data$SUFFIX" document_id=%{id} sed -i 's/$SUFFIX/'$SUFFIX'/g' $indexFile.json # 删除一个索引 curl -XDELETE 'http://'$ES_IP':'$ES_PORT'/'$index'/' # 根据指定的创建一个空索引 curl -H "Content-Type: application/json" -XPUT 'http://'$ES_IP':'$ES_PORT'/'$index'' -d @''$indexFile''.json # 导入数据 ${LOGSTASH_BIN_DIR}/logstash -e ' input { jdbc { jdbc_driver_library =>"./mysql-connector-java-5.1.46-bin.jar" jdbc_driver_class =>"com.mysql.jdbc.Driver" jdbc_connection_string =>"'$JDBC_COMPANY_ORDER'" jdbc_user =>"'$JDBC_USER'" jdbc_password =>"'$JDBC_PWD'" lowercase_column_names => "false" statement_filepath => "./'$indexFile'.sql" } } output { elasticsearch { action => "index" hosts =>["'$ES_IP':'$ES_PORT'"] index =>"'$index'" document_type =>"'$index_type'" document_id => "'$document_id'" } }' --path.data ${LOGSTASH_DATA_DIR}/$index_data ``` 控制台输出： ``` [deployer@cloudplatform-xian-yh29 create_es_index]$ ./my_index_company_order_report.sh {"acknowledged":true}{"acknowledged":true,"shards_acknowledged":true,"index":"my_index_company_order_report"}Sending Logstash logs to /home/aiuap_jc/ELK6.5.3/logstash-6.5.3/logs which is now configured via log4j2.properties [2020-03-11T20:46:27,206][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>"path.queue", :path=>"/home/aiuap_jc/ELK6.5.3/logstash-6.5.3/data/my_index_company_order_report_data/queue"} [2020-03-11T20:46:27,213][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>"path.dead_letter_queue", :path=>"/home/aiuap_jc/ELK6.5.3/logstash-6.5.3/data/my_index_company_order_report_data/dead_letter_queue"} [2020-03-11T20:46:27,635][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified [2020-03-11T20:46:27,647][INFO ][logstash.runner ] Starting Logstash {"logstash.version"=>"6.5.3"} [2020-03-11T20:46:27,683][INFO ][logstash.agent ] No persistent UUID file found. Generating new UUID {:uuid=>"da56bc0e-c6a7-4dd2-a6fc-3118bfe46fd1", :path=>"/home/aiuap_jc/ELK6.5.3/logstash-6.5.3/data/my_index_company_order_report_data/uuid"} [2020-03-11T20:46:30,547][WARN ][logstash.outputs.elasticsearch] You are using a deprecated config setting "document_type" set in elasticsearch. Deprecated settings will continue to work, but are scheduled for removal from logstash in the future. Document types are being deprecated in Elasticsearch 6.0, and removed entirely in 7.0. You should avoid this feature If you have any questions about this, please visit the #logstash channel on freenode irc. {:name=>"document_type", :plugin=><LogStash::Outputs::ElasticSearch action=>"index", index=>"my_index_company_order_report", id=>"116914b44c341514850d4765364e8c26d59056377e90ff8c080aa5b0960c6cea", document_id=>"%{id}", hosts=>[//10.236.6.52:9200], document_type=>"company_order_doc", enable_metric=>true, codec=><LogStash::Codecs::Plain id=>"plain_552f8ab0-92d5-43fd-8fb6-534dea21eaaa", enable_metric=>true, charset=>"UTF-8">, workers=>1, manage_template=>true, template_name=>"logstash", template_overwrite=>false, doc_as_upsert=>false, script_type=>"inline", script_lang=>"painless", script_var_name=>"event", scripted_upsert=>false, retry_initial_interval=>2, retry_max_interval=>64, retry_on_conflict=>1, ssl_certificate_verification=>true, sniffing=>false, sniffing_delay=>5, timeout=>60, pool_max=>1000, pool_max_per_route=>100, resurrect_delay=>5, validate_after_inactivity=>10000, http_compression=>false>} [2020-03-11T20:46:30,604][INFO ][logstash.pipeline ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>16, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50} [2020-03-11T20:46:31,104][INFO ][logstash.outputs.elasticsearch] Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[http://10.236.6.52:9200/]}} [2020-03-11T20:46:31,318][WARN ][logstash.outputs.elasticsearch] Restored connection to ES instance {:url=>"http://10.236.6.52:9200/"} [2020-03-11T20:46:31,381][INFO ][logstash.outputs.elasticsearch] ES Output version determined {:es_version=>6} [2020-03-11T20:46:31,385][WARN ][logstash.outputs.elasticsearch] Detected a 6.x and above cluster: the `type` event field won't be used to determine the document _type {:es_version=>6} [2020-03-11T20:46:31,414][INFO ][logstash.outputs.elasticsearch] New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>["//10.236.6.52:9200"]} [2020-03-11T20:46:31,434][INFO ][logstash.outputs.elasticsearch] Using mapping template from {:path=>nil} [2020-03-11T20:46:31,464][INFO ][logstash.outputs.elasticsearch] Attempting to install template {:manage_template=>{"template"=>"logstash-*", "version"=>60001, "settings"=>{"index.refresh_interval"=>"5s"}, "mappings"=>{"_default_"=>{"dynamic_templates"=>[{"message_field"=>{"path_match"=>"message", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false}}}, {"string_fields"=>{"match"=>"*", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false, "fields"=>{"keyword"=>{"type"=>"keyword", "ignore_above"=>256}}}}}], "properties"=>{"@timestamp"=>{"type"=>"date"}, "@version"=>{"type"=>"keyword"}, "geoip"=>{"dynamic"=>true, "properties"=>{"ip"=>{"type"=>"ip"}, "location"=>{"type"=>"geo_point"}, "latitude"=>{"type"=>"half_float"}, "longitude"=>{"type"=>"half_float"}}}}}}}} [2020-03-11T20:46:31,704][INFO ][logstash.pipeline ] Pipeline started successfully {:pipeline_id=>"main", :thread=>"#<Thread:0xd856ba9 run>"} [2020-03-11T20:46:31,754][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]} [2020-03-11T20:46:32,045][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600} [2020-03-11T20:46:33,034][INFO ][logstash.inputs.jdbc ] (0.010293s) SELECT order_main.order_no AS orderNo, order_main.com_sub_code AS comSubCode FROM order_main [2020-03-11T20:46:34,427][INFO ][logstash.pipeline ] Pipeline has terminated {:pipeline_id=>"main", :thread=>"#<Thread:0xd856ba9 run>"} ``` 控制台也没有报错，但是查询es只有一条数据 ``` C:\Users\xiaolei>curl -X GET "http://10.236.6.52:9200/_sql" -H "Content-Type: application/json" -d "select * from my_ind ex_company_order_report" {"took":2,"timed_out":false,"_shards":{"total":5,"successful":5,"skipped":0,"failed":0},"hits":{"total":1,"max_score":1. 0,"hits":[{"_index":"my_index_company_order_report","_type":"company_order_doc","_id":"%{id}","_score":1.0,"_source":{"c omSubCode":"sxmall_2019","orderNo":"4027","@timestamp":"2020-03-11T12:46:33.153Z","@version":"1"}}]}} ``` 实际数据库是有多行数据的，求大神帮忙看看，在线等，给跪了

我有一个设备使用tcp向redis服务器发送数据，我应该如何查看这些数据，我在logstash应该如何接受redis数据，希望大神帮忙解决一下，如果问题描述不清楚的话可以问我，谢谢啦

我查看了Logstash已安装的插件，没有发现HBase输出插件。

我的映射关系如下 "start_time": { "format": "yyyy‐MM‐dd HH:mm:ss", "type": "date" } pub_time": { "format": "yyyy‐MM‐dd HH:mm:ss", "type": "date" 都是这种映射 数据库里的格式 是这种 ： **2019-12-28 19:24:41** 但是在采集数据的时候报解析异常 Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>"4028e58161bd3b380161bd3bcd2f0000", :_index=>"xc_course", :_type=>"doc", :_routing=>nil}, #<LogStash::Event:0x62e0a8f9>], :response=>{"index"=>{"_index"=>"xc_course", "_type"=>"doc", "_id"=>"4028e58161bd3b380161bd3bcd2f0000", "status"=>400, "error"=>{"type"=>"mapper_parsing_exception", "reason"=>"failed to parse [start_time]", "caused_by"=>{"type"=>"illegal_argument_exception", "reason"=>"Invalid format: \"2019-12-20T15:18:13.000Z\" is malformed at \"-12-20T15:18:13.000Z\""}}}}} 主要是这一句 **failed to parse [start_time]", "caused_by"=>{"type"=>"illegal_argument_exception"** ** "Invalid format: \"2019-12-20T15:18:13.000Z\" is malformed at \"-12-20T15:18:13.000Z\""** 然后就导致无法采集到索引库 但是吧时间都设置为null值之后却又可以采集到索引库 这是怎么回事 又怎么解决呢？

服务器配置： 在6台虚拟机上安装es：内存分别是15G，1核cpu，1T机械硬盘 软件配置： es分配了8G运行内存，logstash分配5G运行内存

我用split把  这类数据用点隔开得到结果是 然后我想获取 html 这个词  但是我这样写获取不到 希望有人能帮我指正一下

select id,taskCode,taskSign,riskCode,classCode,policyCodes,createTime,updatTime from f_policytask 导入之后查询出数据的字段变成了小写，我建索引的时候写的是驼峰，所以模糊查询的时候查询不出来。  （目前有个解决办法是把驼峰改成下划线，但是java里面写的很别扭，有没有其他的解决办法？谢谢大家）

从es中查出的数据有 id message字段 想按照不同的id来创建文件 将message写进去 例如查出的数据 {id = 1,message = 111} {id = 2,message = 222} 希望写出2个文件 1.txt 内容为 111 2.txt 内容为 222 logstash应该怎么写

假如数据库中的数据被删除了，如何做到elasticsearch中对应的数据也删除？

使用logstash方法将Oracle中的数据导入到ElasticSearch6.8中，两个index各有一个type，怎么做能像这样 SELECT * from expert e,achievement a where e.id=a.expert_id and e.id = 3？ 大神们求解。

 在test.log日志里面就写两三条logger日志信息不往ES发送数据,很快就会在控制台打印出来, 在给Es发送一个.log数据的时候,控制台光标一直闪烁不写数据信息了!(因为现在是测试,以后会把/*.log给ES发送过去),请教各位大神有什么好的处理方法吗?

最近使用logstash分析日志，需要提取日志中某一串字符，比如abcd=1，看了很多文档 有人说在filter中使用mutate可以实现，但是没有找到mutate相关的介绍。 求大神讲解，或者提供一些学习的地址或书籍

 这是一条nginx日志 这样的日志还有很多条 我想用logstash把每条日志的url存到文件 配置该怎么写

input { file { path => "/var/log/172.16.16.121.log" } } filter { } output { kafka { bootstrap_servers => "172.16.16.120:9092" topic_id => "test_SSA1" compression_type => "snappy" } }

# **1.启动logstash出现F Failed to load ?D:\mysqlDriver\mysql-connector-java-5.1.41.jar** ****进入logstash的bin目录，因为我的mysql.conf放在config目录下**** ----  **出现错误Failed to load ?D:\mysqlDriver\mysql-connector-java-5.1.41.jar**   **以下是我的mysql.conf的内容**   ---- **** 查了很多资料都说是mysql的驱动版本不合适，我用的是logshash-6.2.1** ----- **驱动是mysql-connection-java-5.1.41.jar（我是看视频学的，视频中用的就是这个版本的驱动包，所以很疑惑）,没能解决问题求大神解答**** --- ==== **已解决使用mysql-connection-java-8.0.12版本的jar文件 链接：https://pan.baidu.com/s/1Ca4HoURUZtU-KypIPg7VdA 提取码：6vz5 **

用logstash解析带有中文的文档，解析出的数据有乱码？请问各位大神怎么解决啊？？

今年，我也32了 ，为了不给大家误导，咨询了猎头、圈内好友，以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助，记得帮我点赞哦。 目录： 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时，拿着傲人的工资，想着好好干，以为我们的人生是这样的： 等真到了那一天，你会发现，你的人生很可能是这样的： ...

程序员在一个周末的时间，得了重病，差点当场去世，还好及时挽救回来了。

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性？原理是什么Java语言有哪些特点什么是字节码？采用字节码的最大好处是什么什么是Java程序的主类？应用程序和小程序的主类有何不同？Java应用程序与小程序之间有那些差别？Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

互联网公司工作，很难避免不和黑客们打交道，我呆过的两家互联网公司，几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口，有的是寻找线上服务器可能存在的漏洞，大部分都...

1. 前言从2020 年 JVM 生态报告解读 可以看出Intellij IDEA 目前已经稳坐 Java IDE 头把交椅。而且统计得出付费用户已经超过了八成（国外统计）。IDEA 的...

故事总是一个接着一个到来...上周写完《鲁大师已经彻底沦为一款垃圾流氓软件！》这篇文章之后，鲁大师的市场工作人员就找到了我，希望把这篇文章删除掉。经过一番沟通我先把这篇文章从公号中删除了...

原博客再更新，可能就没了，之后将持续更新本篇博客。

提到“程序员”，多数人脑海里首先想到的大约是：为人木讷、薪水超高、工作枯燥…… 然而，当离开工作岗位，撕去层层标签，脱下“程序员”这身外套，有的人生动又有趣，马上展现出了完全不同的A/B面人生！ 不论是简单的爱好，还是正经的副业，他们都干得同样出色。偶尔，还能和程序员的特质结合，产生奇妙的“化学反应”。 @Charlotte：平日素颜示人，周末美妆博主 大家都以为程序媛也个个不修边幅，但我们也许...

文章目录数据库基础知识为什么要使用数据库什么是SQL？什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式？分别有什么区别？数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别？InnoDB引擎的4大特性存储引擎选择索引什么是索引？索引有哪些优缺点？索引使用场景（重点）...

有个好朋友ZS，是技术总监，昨天问我：“有一个老下属，跟了我很多年，做事勤勤恳恳，主动性也很好。但随着公司的发展，他的进步速度，跟不上团队的步伐了，有点...

私下里，有不少读者问我：“二哥，如何才能写出一份专业的技术简历呢？我总感觉自己写的简历太烂了，所以投了无数份，都石沉大海了。”说实话，我自己好多年没有写过简历了，但我认识的一个同行，他在阿里，给我说了一些他当年写简历的方法论，我感觉太牛逼了，实在是忍不住，就分享了出来，希望能够帮助到你。 01、简历的本质 作为简历的撰写者，你必须要搞清楚一点，简历的本质是什么，它就是为了来销售你的价值主张的。往深...

据羊城晚报报道，近日中芯国际从荷兰进口的一台大型光刻机，顺利通过深圳出口加工区场站两道闸口进入厂区，中芯国际发表公告称该光刻机并非此前盛传的EUV光刻机，主要用于企业复工复产后的生产线扩容。 我们知道EUV主要用于7nm及以下制程的芯片制造，光刻机作为集成电路制造中最关键的设备，对芯片制作工艺有着决定性的影响，被誉为“超精密制造技术皇冠上的明珠”，根据之前中芯国际的公报，目...

场景 日常开发，if-else语句写的不少吧？？当逻辑分支非常多的时候，if-else套了一层又一层，虽然业务功能倒是实现了，但是看起来是真的很不优雅，尤其是对于我这种有强迫症的程序"猿"，看到这么多if-else，脑袋瓜子就嗡嗡的，总想着解锁新姿势：干掉过多的if-else！！！本文将介绍三板斧手段： 优先判断条件，条件不满足的，逻辑及时中断返回； 采用策略模式+工厂模式； 结合注解，锦...

有小伙伴问松哥这个问题，他在上海某公司，在离职了几个月后，前公司的领导联系到他，希望他能够返聘回去，他很纠结要不要回去？ 俗话说好马不吃回头草，但是这个小伙伴既然感到纠结了，我觉得至少说明了两个问题：1.曾经的公司还不错；2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说，松哥之前也有过类似的经历，今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点，就是离职了也没必要和老东家弄的苦...

阿里巴巴全球数学竞赛（ Alibaba Global Mathematics Competition）由马云发起，由中国科学技术协会、阿里巴巴基金会、阿里巴巴达摩院共同举办。大赛不设报名门槛，全世界爱好数学的人都可参与，不论是否出身数学专业、是否投身数学研究。 2020年阿里巴巴达摩院邀请北京大学、剑桥大学、浙江大学等高校的顶尖数学教师组建了出题组。中科院院士、美国艺术与科学院院士、北京国际数学...

不知道是不是只有我这样子，还是你们也有过类似的经历。 上学的时候总有很多光辉历史，学年名列前茅，或者单科目大佬，但是虽然慢慢地长大了，你开始懈怠了，开始废掉了。。。 什么？你说不知道具体的情况是怎么样的？ 我来告诉你： 你常常潜意识里或者心理觉得，自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间，还有无限的可能，自己还能逆风翻盘，只不是自己还没开始罢了，自己以后肯定会变得特别厉害...

所有一夜暴富的方法都写在刑法中，但总有人心存侥幸。这些年互联网犯罪高发，一些工程师高技术犯罪更是引发关注。这两天，一个百度运维工程师的案例传遍朋友圈。1...

本文作者用对比非常鲜明的两个开发团队的故事，讲解了敏捷开发之道 —— 如果你的团队缺乏统一标准的环境，那么即使勤劳努力，不仅会极其耗时而且成果甚微，使用...

二哥，有个事想询问下您的意见，您觉得应届生值得去外包吗？公司虽然挺大的，中xx，但待遇感觉挺低，马上要报到，挺纠结的。

当HR压你价，说你只值7K时，你可以流畅地回答，记住，是流畅，不能犹豫。 礼貌地说：“7K是吗？了解了。嗯~其实我对贵司的面试官印象很好。只不过，现在我的手头上已经有一份11K的offer。来面试，主要也是自己对贵司挺有兴趣的，所以过来看看……”（未完） 这段话主要是陪HR互诈的同时，从公司兴趣，公司职员印象上，都给予对方正面的肯定，既能提升HR的好感度，又能让谈判气氛融洽，为后面的发挥留足空间。...

HashMap底层实现原理，红黑树，B+树，B树的结构原理 Spring的AOP和IOC是什么？它们常见的使用场景有哪些？Spring事务，事务的属性，传播行为，数据库隔离级别 Spring和SpringMVC，MyBatis以及SpringBoot的注解分别有哪些？SpringMVC的工作原理，SpringBoot框架的优点，MyBatis框架的优点 SpringCould组件有哪些，他们...

面试阿里p7被问到的问题(当时我只知道第一个)：@Conditional是做什么的?@Conditional多个条件是什么逻辑关系？条件判断在什么时候执...

编程语言层出不穷，从最初的机器语言到如今2500种以上的高级语言，程序员们大呼“学到头秃”。程序员一边面临编程语言不断推陈出新，一边面临由于许多代码已存在，程序员编写新应用程序时存在重复“搬砖”的现象。 无代码/低代码编程应运而生。无代码/低代码是一种创建应用的方法，它可以让开发者使用最少的编码知识来快速开发应用程序。开发者通过图形界面中，可视化建模来组装和配置应用程序。这样一来，开发者直...

最近面试了一个31岁8年经验的程序猿，让我有点感慨，大龄程序猿该何去何从。

说实话，自己的算法，我一个不会，太难了吧

已经连续五年参加大厂校招、社招的技术面试工作，简历看的不下于万份 这篇文章会用实例告诉你，什么是差的程序员简历！ 疫情快要结束了，各个公司也都开始春招了，作为即将红遍大江南北的新晋UP主，那当然要为小伙伴们做点事（手动狗头）。 就在公众号里公开征简历，义务帮大家看，并一一点评。《启舰：春招在即，义务帮大家看看简历吧》 一石激起千层浪，三天收到两百多封简历。 花光了两个星期的所有空闲时...

正确选择比瞎努力更重要！

轻松等回家通知

大厂竟然要考我SSO，卧槽。

内容导航： 1、TIOBE排行榜 2、总榜（2020年6月份） 3、本月前三名 3.1、C 3.2、Java 3.3、Python 4、学习路线图 5、参考地址 1、TIOBE排行榜 TIOBE排行榜是根据全世界互联网上有经验的程序员、课程和第三方厂商的数量，并使用搜索引擎（如Google、Bing、Yahoo!）以及Wikipedia、Amazon、YouTube统计出排名数据。