ELK日志收集错误,elasticsearch日志抛错 2C

图片说明

问题描述:
我用logstash收集日志,保存到elasticsearch
每天都会按日期建立新的索引。但是elasticsearch日志显示,建立索引之后,有错误日志,
[2016-03-30 08:00:03,002][INFO ][cluster.metadata ] [log_master] [union_user-2016-03-30] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings [union_user]
[2016-03-30 08:00:08,369][INFO ][cluster.metadata ] [log_master] [dj_openapi_middle-2016-03-30] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings [dj_openapi_middle]
[2016-03-30 08:00:10,188][INFO ][cluster.metadata ] [log_master] [union_openapi-2016-03-30] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings [union_openapi]
[2016-03-30 08:00:12,024][INFO ][cluster.metadata ] [log_master] [mcp_log-2016-03-30] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings [mcp_log]
[2016-03-30 08:00:13,870][INFO ][cluster.metadata ] [log_master] [own_openapi-2016-03-30] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings [own_openapi]
[2016-03-30 08:00:17,354][INFO ][cluster.metadata ] [log_master] [dj_openapi_front-2016-03-30] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings [dj_openapi_front]
[2016-03-30 08:00:19,204][INFO ][cluster.metadata ] [log_master] [own_payment-2016-03-30] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings [own_payment]
[2016-03-30 08:00:19,341][INFO ][cluster.metadata ] [log_master] [callback_user-2016-03-30] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings [callback_user]
[2016-03-30 08:00:21,357][INFO ][cluster.metadata ] [log_master] [callback_payment-2016-03-30] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings [callback_payment]
[2016-03-30 08:00:35,142][INFO ][cluster.metadata ] [log_master] [callback_openapi-2016-03-30] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings [callback_openapi]
[2016-03-30 08:00:40,467][INFO ][cluster.metadata ] [log_master] [risk_ctrl-2016-03-30] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings [risk_ctrl]
[2016-03-30 08:00:42,393][INFO ][cluster.metadata ] [log_master] [own_user-2016-03-30] creating index, cause [auto(bulk api)], templates [], shards [5]/[1], mappings [own_user]
[2016-03-30 08:01:00,892][DEBUG][action.admin.indices.mapping.put] [log_master] failed to put mappings on indices [[union_user-2016-03-30]], type [union_user]
ProcessClusterEventTimeoutException[failed to process cluster event (put-mapping [union_user]) within 30s]
at org.elasticsearch.cluster.service.InternalClusterService$2$1.run(InternalClusterService.java:343)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
[2016-03-30 08:01:00,892][DEBUG][action.admin.indices.mapping.put] [log_master] failed to put mappings on indices [[union_user-2016-03-30]], type [union_user]
ProcessClusterEventTimeoutException[failed to process cluster event (put-mapping [union_user]) within 30s]
at org.elasticsearch.cluster.service.InternalClusterService$2$1.run(InternalClusterService.java:343)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
[2016-03-30 08:01:00,899][DEBUG][action.bulk ] [log_master] [union_user-2016-03-30][2] failed to execute bulk item (index) index {[union_user-2016-03-30][union_user][AVPE0kc4VKH7icABsVlx], source[{"message":"FAT
AL: 03-29 23:48:20: duokoo_user * 25953 [ logid: ][ reqip: ][DuokooUser.cpp:4646]query fetchSdkLoadingConfSort have no data, [DuokooUser.cpp:4646] [sql:select status, starttime, endtime, appids, channels, picpath, UNIX_
TIMESTAMP(createtime), UNIX_TIMESTAMP(starttime), UNIX_TIMESTAMP(endtime),UNIX_TIMESTAMP() from mcp_user.mcp_sdk_loading_config where type=1 and status=1 and UNIX_TIMESTAMP() <= UNIX_TIMESTAMP(endtime) ]","@version":"1","@ti
mestamp":"2016-03-30T00:00:28.290Z","path":"/home/work/duokoo/log/duokoo_user.log.wf","host":"0.0.0.0","type":"union_user"}]}
ProcessClusterEventTimeoutException[failed to process cluster event (put-mapping [union_user]) within 30s]

求各位大神帮忙解答一下,是哪里的原因

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
多台服务器间elk日志的处理

多台服务器间内网互通,处于同一个局域网,服务端装在其中一个服务器中,想要远程收集到不同服务器中的日志,应该怎么设置?

日志分析框架ELK应该在哪些业务场景下使用?

配置一套ELK系统需要占用多少服务器资源?并发量大的时候会不会有问题,需要用队列吗?另外显示界面如果自己开发的话难度如何? 我们希望做个日志系统展示给客户的运维能让他们知道访问和数据库操作的情况,只是系统的一个功能模块而非独立的日志分析系统,自己用log4j记录日志的话自己做日志分析怕文本数据量大的时候读取速度会比较慢,同时全文检索也很不方便。但是ELK就怕开发难度太大而且太过重量级,不知道如何取舍

centos7上 搭建ELK环境,elasticsearch启动成功一会儿之后自动关闭

毕设题目做的是“基于ELK的日志大数据分析“,作为一名菜鸟,没想到搭个环境都辣么多case,烦请大神指点: elasticsearch启动之后,一会儿会自动关闭,下次偶尔也会启动成功时而又启动失败,报错如下: ![图片说明](https://img-ask.csdn.net/upload/201703/15/1489567200_495301.png) 求解!

ELK+wazuh安装X-pack报错

1.vi /etc/elasticsearch/elasticsearch.yml ![图片说明](https://img-ask.csdn.net/upload/201907/05/1562311392_444624.png) 启用Xpack后elasticsearch 无法启动 ![图片说明](https://img-ask.csdn.net/upload/201907/05/1562311650_460817.png)

elasticsearch支持多表查询吗?或者es的ELK和springboot整合的查询的经验

我想要实现多表查询,通过java代码能实现吗? es的ELK和springboot整合的查询的经验 希望老铁们给点建议, 提供具体方法或者对我开发有用的建议的话,必有重谢。

[ELK]Logstash接收到的日志时间顺序与Filebeat发出的顺序不一样

用filebeat收集/tmp/testlog/no7.log的内容后,传送给Logstash服务器,Logstash把收到的内容输出为 /tmp/logstash/no7.log 传送没有出现日志缺失,但是发现时间顺序是混乱的,具体情况如下: filebeat.yml ``` filebeat.inputs: - type: log enabled: true paths: - /tmp/testlog/no7.log output.logstash: hosts: ["xxx.xx.x.xxx:5044"] ``` logstash.conf ``` input { beats { port => 5044 } } output { file { path => "/tmp/logstash/no7.log" codec => line { format => "%{message}"} } } ``` 时间乱序情况如下: /tmp/testlog/no7.log(Filebeat服务器) ``` no7 0 2020年 1月 14日 火曜日 17:48:36 JST no7 1 2020年 1月 14日 火曜日 17:48:37 JST no7 2 2020年 1月 14日 火曜日 17:48:38 JST no7 3 2020年 1月 14日 火曜日 17:48:39 JST no7 4 2020年 1月 14日 火曜日 17:48:40 JST no7 5 2020年 1月 14日 火曜日 17:48:41 JST no7 6 2020年 1月 14日 火曜日 17:48:42 JST no7 7 2020年 1月 14日 火曜日 17:48:43 JST no7 8 2020年 1月 14日 火曜日 17:48:44 JST no7 9 2020年 1月 14日 火曜日 17:48:45 JST ``` /tmp/logstash/no7.log(Logstash服务器) ``` no7 2 2020年 1月 14日 火曜日 17:48:38 JST no7 6 2020年 1月 14日 火曜日 17:48:42 JST no7 3 2020年 1月 14日 火曜日 17:48:39 JST no7 7 2020年 1月 14日 火曜日 17:48:43 JST no7 0 2020年 1月 14日 火曜日 17:48:36 JST no7 4 2020年 1月 14日 火曜日 17:48:40 JST no7 8 2020年 1月 14日 火曜日 17:48:44 JST no7 1 2020年 1月 14日 火曜日 17:48:37 JST no7 5 2020年 1月 14日 火曜日 17:48:41 JST no7 9 2020年 1月 14日 火曜日 17:48:45 JST ``` 可以看见,Logstash接受到的所有内容都是乱序排列,请问怎么才能让它按照Filebeat服务器里的顺序输出呢 请大家帮帮忙,麻烦了 —————— 有在网上搜过解决方法,都说是用filter的date来处理,但是按照目前能找到的所有回答都试了一遍,乱序问题依旧没有解决

有关ELK logstash nginx日志问题?

打扰各位 ``` Mar 27 23:23:42 192.168.0.96 {"@timestamp": "2017-03-27T23:23:42+08:00","host":"192.168.0.95","clientip":"36.149.14.104","size":420,"responsetime":0.021,"upstreamtime":"0.021","upstreamhost":"192.168.0.209:80","http_host":"www.test.com","url":"/assistant/ass/im/friendinfo.json","xff":"-","referer":"-","agent":"/5.0.7 te; iOS 10.2.1; Scal ``` e/2.00)","status":"200"} 这是我通过Rsyslog把nginx json日志打到ELK的log。 NGINX配置如下: ``` logformat json '{"@timestamp":"$time_iso8601",' '"@version":"1",' '"host":"$server_addr",' '"client":"$remote_addr",' '"size":$body_bytes_sent,' '"responsetime":$request_time,' '"domain":"$host",' '"url":"$uri",' '"status":"$status"}'; access_log /var/log/nginx/access.log_json json; ``` 然后logstash 配置: ``` filter { json { source => "message" target => "jsoncontent" } } ``` 按道理能output出message的格式化字段啊,为什么我依旧是输出整条message? ![图片说明](https://img-ask.csdn.net/upload/201703/27/1490628897_129196.png)

elk 怎么转换数据格式?

elasticsearch+logstash+kibana 现在有一个标签是costtime,值是0.002,类型是text,请问如何转换成number或者time格式的数据? 在哪里转换?

ELK解析日志是logstash映射出错

通过filebeat读取日志文件,文件内容如下 127.0.0.1 - - [10/Jul/2018:08:51:57 +0800] "GET / HTTP/1.1" 404 986 logstash的input和output如下 input { beats { port => "5044" } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } date { match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ] target => ["datetime"] } geoip { source => "clientip" } } output { elasticsearch { hosts => "127.0.0.1:9200" index => "access_log" } stdout { codec => rubydebug } } 本来应该可以自动映射出来 但是出来的内容是这样的 { "_index": "access_log", "_type": "doc", "_id": "yrO3y2UBS1hmFNgRv6jZ", "_score": 1, "_source": { "host": "LAPTOP-C9R6GBSV", "tags": [ "beats_input_codec_plain_applied", "_grokparsefailure", "_geoip_lookup_failure" ], "@timestamp": "2018-09-12T02:59:00.123Z", "message": "127.0.0.1 - - [10/Jul/2018:08:51:57 +0800] "GET / HTTP/1.1" 404 986", "prospector": { "type": "log" }, "source": "C:\\Users\\Desktop\\logs\\localhost_access_log.2018-07-10.log", "beat": { "name": "LAPTOP-C9R6GBSV", "hostname": "LAPTOP-C9R6GBSV", "version": "6.2.0" }, "offset": 996, "@version": "1" } } 很明显没有映射出来

springboot整合elasticsearch提示org.elasticsearch.transport.NodeDisconnectedException

<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> <version>2.1.4.RELEASE</version> </dependency> <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-elasticsearch</artifactId> <version>2.1.4.RELEASE</version> </dependency> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>2.4.0</version> </dependency> <dependency> <groupId>org.elasticsearch.plugin</groupId> <artifactId>transport-netty4-client</artifactId> <version>6.4.0</version> </dependency> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>transport</artifactId> <version>6.4.0</version> </dependency> application.yml 配置如下: spring: data: elasticsearch: cluster-nodes: 192.168.100.21:9300,192.168.100.22:9300,192.168.100.23:9300 cluster-name: wt repositories: enabled: true springboot版本1.5.8,linux安装ES版本是6.4.0,上面是工程里引入的jar,ES在浏览器能访问,且有数据,但是项目启动就连接不上 NoNodeAvailableException[None of the configured nodes are available: [{#transport#-1}{192.168.100.21}{192.168.100.21:9300}, {#transport#-2}{192.168.100.22}{192.168.100.22:9300}, {#transport#-3}{192.168.100.23}{192.168.100.23:9300}] ] at org.elasticsearch.client.transport.TransportClientNodesService.ensureNodesAreAvailable(TransportClientNodesService.java:290) at org.elasticsearch.client.transport.TransportClientNodesService.execute(TransportClientNodesService.java:207) at org.elasticsearch.client.transport.support.TransportProxyClient.execute(TransportProxyClient.java:55) at org.elasticsearch.client.transport.TransportClient.doExecute(TransportClient.java:288)

在win10下,ElasticSearch中的跨索引查询

ElasticSearch中跨索引查询是怎么回事啊,大佬们麻烦举例说明一下。

elasticsearch导入template问题

最近我正在学习ELK,但我向elasticsearch中导入模板时出错,错误输出如下 {"error":{"root_cause":[{"type":"action_request_validation_exception","reason":"Validation Failed: 1: template is missing;"}],"type":"action_request_validation_exception","reason":"Validation Failed: 1: template is missing;"},"status":400} 我使用的导入模板命令是 ``` curl -XPUT "http://localhost:9200/_template/wifi" -d@wifi1.json ``` 模板内容为 ``` { "wifi": { "order": 0, "template": "wifi-*", "settings": { "index": { "refresh_interval": "5s" } }, "mappings": { "_default_": { "dynamic_templates": [ { "message_field": { "mapping": { "fielddata": { "format": "disabled" }, "index": "analyzed", "omit_norms": true, "type": "string" }, "match_mapping_type": "string", "match": "message" } } , { "string_fields": { "mapping": { "fielddata": { "format": "disabled" }, "index": "analyzed", "omit_norms": true, "type": "string", "fields": { "raw": { "ignore_above": 256, "index": "not_analyzed", "type": "string" } } }, "match_mapping_type": "string", "match": "*" } } ], "_all": { "omit_norms": true, "enabled": true }, "properties": { "@timestamp": { "type": "date" }, "lat":{ "type":"float" }, "lon":{ "type":"float" }, "geoip": { "dynamic": true, "properties": { "ip": { "type": "ip" }, "latitude": { "type": "float" }, "location": { "type": "geo_point" }, "longitude": { "type": "float" } } }, "data":{ "dynamic":true, "properties":{ "range":{ "type":"float" } } }, "@version": { "index": "not_analyzed", "type": "string" } } } }, "aliases": { } } } ``` 另外我使用的elasticsearch版本为2.4.1 希望走过路过的大神,兄台能帮小生解决一下这个问题,在下不胜感激

C#操作ElasticSearch Field泛型问题

![图片说明](https://img-ask.csdn.net/upload/201901/22/1548153224_175525.png)![图片说明](https://img-ask.csdn.net/upload/201901/22/1548153267_315226.png) 请问Fields = Field<Project>(p=>p.Description).And("myOtherField"),Project怎么填

ElasticSearch怎么做查询某个字段大于某个值的查询

我有个查询是匹配某个字符串,并且某个字段大于1。 哪个方法是比较大小的

elk elasticsearch-2.1.2+kibana4.3.1

求助elasticsearch-2.1.2+kibana4.3.1整合启动都没问题,但是访问localhost:5601报错 Uncaught TypeError: Object [object Object] has no method 'on' (http://localhost:5601/bundles/commons.bundle.js:32055)

通过logstash将sql数据导入elasticSearch,但是es里面只有一行数据,求大神帮看看

es映射文件: ``` { "mappings": { "_doc": { "properties": { "@timestamp" : { "type" : "date" }, "orderNo": { "type": "keyword" }, "comSubCode": { "type": "keyword" } } } } } ``` sql: ``` SELECT order_main.order_no AS orderNo, order_main.com_sub_code AS comSubCode FROM order_main ``` 执行的sh脚本: ``` #!/bin/sh source ./gloable.sh indexFile="my_index_company_order_report" index="my_index_company_order_report$SUFFIX" index_type="_doc" index_data="my_index_company_order_report_data$SUFFIX" document_id=%{id} sed -i 's/$SUFFIX/'$SUFFIX'/g' $indexFile.json # 删除一个索引 curl -XDELETE 'http://'$ES_IP':'$ES_PORT'/'$index'/' # 根据指定的创建一个空索引 curl -H "Content-Type: application/json" -XPUT 'http://'$ES_IP':'$ES_PORT'/'$index'' -d @''$indexFile''.json # 导入数据 ${LOGSTASH_BIN_DIR}/logstash -e ' input { jdbc { jdbc_driver_library =>"./mysql-connector-java-5.1.46-bin.jar" jdbc_driver_class =>"com.mysql.jdbc.Driver" jdbc_connection_string =>"'$JDBC_COMPANY_ORDER'" jdbc_user =>"'$JDBC_USER'" jdbc_password =>"'$JDBC_PWD'" lowercase_column_names => "false" statement_filepath => "./'$indexFile'.sql" } } output { elasticsearch { action => "index" hosts =>["'$ES_IP':'$ES_PORT'"] index =>"'$index'" document_type =>"'$index_type'" document_id => "'$document_id'" } }' --path.data ${LOGSTASH_DATA_DIR}/$index_data ``` 控制台输出: ``` [deployer@cloudplatform-xian-yh29 create_es_index]$ ./my_index_company_order_report.sh {"acknowledged":true}{"acknowledged":true,"shards_acknowledged":true,"index":"my_index_company_order_report"}Sending Logstash logs to /home/aiuap_jc/ELK6.5.3/logstash-6.5.3/logs which is now configured via log4j2.properties [2020-03-11T20:46:27,206][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>"path.queue", :path=>"/home/aiuap_jc/ELK6.5.3/logstash-6.5.3/data/my_index_company_order_report_data/queue"} [2020-03-11T20:46:27,213][INFO ][logstash.setting.writabledirectory] Creating directory {:setting=>"path.dead_letter_queue", :path=>"/home/aiuap_jc/ELK6.5.3/logstash-6.5.3/data/my_index_company_order_report_data/dead_letter_queue"} [2020-03-11T20:46:27,635][WARN ][logstash.config.source.multilocal] Ignoring the 'pipelines.yml' file because modules or command line options are specified [2020-03-11T20:46:27,647][INFO ][logstash.runner ] Starting Logstash {"logstash.version"=>"6.5.3"} [2020-03-11T20:46:27,683][INFO ][logstash.agent ] No persistent UUID file found. Generating new UUID {:uuid=>"da56bc0e-c6a7-4dd2-a6fc-3118bfe46fd1", :path=>"/home/aiuap_jc/ELK6.5.3/logstash-6.5.3/data/my_index_company_order_report_data/uuid"} [2020-03-11T20:46:30,547][WARN ][logstash.outputs.elasticsearch] You are using a deprecated config setting "document_type" set in elasticsearch. Deprecated settings will continue to work, but are scheduled for removal from logstash in the future. Document types are being deprecated in Elasticsearch 6.0, and removed entirely in 7.0. You should avoid this feature If you have any questions about this, please visit the #logstash channel on freenode irc. {:name=>"document_type", :plugin=><LogStash::Outputs::ElasticSearch action=>"index", index=>"my_index_company_order_report", id=>"116914b44c341514850d4765364e8c26d59056377e90ff8c080aa5b0960c6cea", document_id=>"%{id}", hosts=>[//10.236.6.52:9200], document_type=>"company_order_doc", enable_metric=>true, codec=><LogStash::Codecs::Plain id=>"plain_552f8ab0-92d5-43fd-8fb6-534dea21eaaa", enable_metric=>true, charset=>"UTF-8">, workers=>1, manage_template=>true, template_name=>"logstash", template_overwrite=>false, doc_as_upsert=>false, script_type=>"inline", script_lang=>"painless", script_var_name=>"event", scripted_upsert=>false, retry_initial_interval=>2, retry_max_interval=>64, retry_on_conflict=>1, ssl_certificate_verification=>true, sniffing=>false, sniffing_delay=>5, timeout=>60, pool_max=>1000, pool_max_per_route=>100, resurrect_delay=>5, validate_after_inactivity=>10000, http_compression=>false>} [2020-03-11T20:46:30,604][INFO ][logstash.pipeline ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>16, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50} [2020-03-11T20:46:31,104][INFO ][logstash.outputs.elasticsearch] Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[http://10.236.6.52:9200/]}} [2020-03-11T20:46:31,318][WARN ][logstash.outputs.elasticsearch] Restored connection to ES instance {:url=>"http://10.236.6.52:9200/"} [2020-03-11T20:46:31,381][INFO ][logstash.outputs.elasticsearch] ES Output version determined {:es_version=>6} [2020-03-11T20:46:31,385][WARN ][logstash.outputs.elasticsearch] Detected a 6.x and above cluster: the `type` event field won't be used to determine the document _type {:es_version=>6} [2020-03-11T20:46:31,414][INFO ][logstash.outputs.elasticsearch] New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>["//10.236.6.52:9200"]} [2020-03-11T20:46:31,434][INFO ][logstash.outputs.elasticsearch] Using mapping template from {:path=>nil} [2020-03-11T20:46:31,464][INFO ][logstash.outputs.elasticsearch] Attempting to install template {:manage_template=>{"template"=>"logstash-*", "version"=>60001, "settings"=>{"index.refresh_interval"=>"5s"}, "mappings"=>{"_default_"=>{"dynamic_templates"=>[{"message_field"=>{"path_match"=>"message", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false}}}, {"string_fields"=>{"match"=>"*", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false, "fields"=>{"keyword"=>{"type"=>"keyword", "ignore_above"=>256}}}}}], "properties"=>{"@timestamp"=>{"type"=>"date"}, "@version"=>{"type"=>"keyword"}, "geoip"=>{"dynamic"=>true, "properties"=>{"ip"=>{"type"=>"ip"}, "location"=>{"type"=>"geo_point"}, "latitude"=>{"type"=>"half_float"}, "longitude"=>{"type"=>"half_float"}}}}}}}} [2020-03-11T20:46:31,704][INFO ][logstash.pipeline ] Pipeline started successfully {:pipeline_id=>"main", :thread=>"#<Thread:0xd856ba9 run>"} [2020-03-11T20:46:31,754][INFO ][logstash.agent ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]} [2020-03-11T20:46:32,045][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600} [2020-03-11T20:46:33,034][INFO ][logstash.inputs.jdbc ] (0.010293s) SELECT order_main.order_no AS orderNo, order_main.com_sub_code AS comSubCode FROM order_main [2020-03-11T20:46:34,427][INFO ][logstash.pipeline ] Pipeline has terminated {:pipeline_id=>"main", :thread=>"#<Thread:0xd856ba9 run>"} ``` 控制台也没有报错,但是查询es只有一条数据 ``` C:\Users\xiaolei>curl -X GET "http://10.236.6.52:9200/_sql" -H "Content-Type: application/json" -d "select * from my_ind ex_company_order_report" {"took":2,"timed_out":false,"_shards":{"total":5,"successful":5,"skipped":0,"failed":0},"hits":{"total":1,"max_score":1. 0,"hits":[{"_index":"my_index_company_order_report","_type":"company_order_doc","_id":"%{id}","_score":1.0,"_source":{"c omSubCode":"sxmall_2019","orderNo":"4027","@timestamp":"2020-03-11T12:46:33.153Z","@version":"1"}}]}} ``` 实际数据库是有多行数据的,求大神帮忙看看,在线等,给跪了

java elasticsearch 属性如何定义为geo_point

java elasticsearch model属性如何定义为geo_point,@GeoPointField无法引入,是缺包吗。

elasticsearch启动时出现的

![图片说明](https://img-ask.csdn.net/upload/201812/07/1544172774_874364.png) 大神帮看看 到底啥原因啊

logstash方法,Oracle中的数据导入ElasticSearch6.8,两个index各一个type,如何做到以下内容这样

使用logstash方法将Oracle中的数据导入到ElasticSearch6.8中,两个index各有一个type,怎么做能像这样 SELECT * from expert e,achievement a where e.id=a.expert_id and e.id = 3? 大神们求解。

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

程序员请照顾好自己,周末病魔差点一套带走我。

程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

点沙成金:英特尔芯片制造全过程揭密

“亚马逊丛林里的蝴蝶扇动几下翅膀就可能引起两周后美国德州的一次飓风……” 这句人人皆知的话最初用来描述非线性系统中微小参数的变化所引起的系统极大变化。 而在更长的时间尺度内,我们所生活的这个世界就是这样一个异常复杂的非线性系统…… 水泥、穹顶、透视——关于时间与技艺的蝴蝶效应 公元前3000年,古埃及人将尼罗河中挖出的泥浆与纳特龙盐湖中的矿物盐混合,再掺入煅烧石灰石制成的石灰,由此得来了人...

上班一个月,后悔当初着急入职的选择了

最近有个老铁,告诉我说,上班一个月,后悔当初着急入职现在公司了。他之前在美图做手机研发,今年美图那边今年也有一波组织优化调整,他是其中一个,在协商离职后,当时捉急找工作上班,因为有房贷供着,不能没有收入来源。所以匆忙选了一家公司,实际上是一个大型外包公司,主要派遣给其他手机厂商做外包项目。**当时承诺待遇还不错,所以就立马入职去上班了。但是后面入职后,发现薪酬待遇这块并不是HR所说那样,那个HR自...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

外包程序员的幸福生活

今天给你们讲述一个外包程序员的幸福生活。男主是Z哥,不是在外包公司上班的那种,是一名自由职业者,接外包项目自己干。接下来讲的都是真人真事。 先给大家介绍一下男主,Z哥,老程序员,是我十多年前的老同事,技术大牛,当过CTO,也创过业。因为我俩都爱好喝酒、踢球,再加上住的距离不算远,所以一直也断断续续的联系着,我对Z哥的状况也有大概了解。 Z哥几年前创业失败,后来他开始干起了外包,利用自己的技术能...

C++11:一些微小的变化(新的数据类型、template表达式内的空格、nullptr、std::nullptr_t)

本文介绍一些C++的两个新特性,它们虽然微小,但对你的编程十分重要 一、Template表达式内的空格 C++11标准之前建议在“在两个template表达式的闭符之间放一个空格”的要求已经过时了 例如: vector&lt;list&lt;int&gt; &gt;; //C++11之前 vector&lt;list&lt;int&gt;&gt;; //C++11 二、nullptr ...

优雅的替换if-else语句

场景 日常开发,if-else语句写的不少吧??当逻辑分支非常多的时候,if-else套了一层又一层,虽然业务功能倒是实现了,但是看起来是真的很不优雅,尤其是对于我这种有强迫症的程序"猿",看到这么多if-else,脑袋瓜子就嗡嗡的,总想着解锁新姿势:干掉过多的if-else!!!本文将介绍三板斧手段: 优先判断条件,条件不满足的,逻辑及时中断返回; 采用策略模式+工厂模式; 结合注解,锦...

深入剖析Springboot启动原理的底层源码,再也不怕面试官问了!

大家现在应该都对Springboot很熟悉,但是你对他的启动原理了解吗?

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

为什么你不想学习?只想玩?人是如何一步一步废掉的

不知道是不是只有我这样子,还是你们也有过类似的经历。 上学的时候总有很多光辉历史,学年名列前茅,或者单科目大佬,但是虽然慢慢地长大了,你开始懈怠了,开始废掉了。。。 什么?你说不知道具体的情况是怎么样的? 我来告诉你: 你常常潜意识里或者心理觉得,自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间,还有无限的可能,自己还能逆风翻盘,只不是自己还没开始罢了,自己以后肯定会变得特别厉害...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试:第十六章:Java中级开发(16k)

HashMap底层实现原理,红黑树,B+树,B树的结构原理 Spring的AOP和IOC是什么?它们常见的使用场景有哪些?Spring事务,事务的属性,传播行为,数据库隔离级别 Spring和SpringMVC,MyBatis以及SpringBoot的注解分别有哪些?SpringMVC的工作原理,SpringBoot框架的优点,MyBatis框架的优点 SpringCould组件有哪些,他们...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

【阿里P6面经】二本,curd两年,疯狂复习,拿下阿里offer

二本的读者,在老东家不断学习,最后逆袭

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

《经典算法案例》01-08:如何使用质数设计扫雷(Minesweeper)游戏

我们都玩过Windows操作系统中的经典游戏扫雷(Minesweeper),如果把质数当作一颗雷,那么,表格中红色的数字哪些是雷(质数)?您能找出多少个呢?文中用列表的方式罗列了10000以内的自然数、质数(素数),6的倍数等,方便大家观察质数的分布规律及特性,以便对算法求解有指导意义。另外,判断质数是初学算法,理解算法重要性的一个非常好的案例。

《Oracle Java SE编程自学与面试指南》最佳学习路线图(2020最新版)

正确选择比瞎努力更重要!

面试官:你连SSO都不懂,就别来面试了

大厂竟然要考我SSO,卧槽。

微软为一人收购一公司?破解索尼程序、写黑客小说,看他彪悍的程序人生!...

作者 | 伍杏玲出品 | CSDN(ID:CSDNnews)格子衬衫、常掉发、双肩包、修电脑、加班多……这些似乎成了大众给程序员的固定标签。近几年流行的“跨界风”开始刷新人们对程序员的...

终于,月薪过5万了!

来看几个问题想不想月薪超过5万?想不想进入公司架构组?想不想成为项目组的负责人?想不想成为spring的高手,超越99%的对手?那么本文内容是你必须要掌握的。本文主要详解bean的生命...

我说我懂多线程,面试官立马给我发了offer

不小心拿了几个offer,有点烦

自从喜欢上了B站这12个UP主,我越来越觉得自己是个废柴了!

不怕告诉你,我自从喜欢上了这12个UP主,哔哩哔哩成为了我手机上最耗电的软件,几乎每天都会看,可是吧,看的越多,我就越觉得自己是个废柴,唉,老天不公啊,不信你看看…… 间接性踌躇满志,持续性混吃等死,都是因为你们……但是,自己的学习力在慢慢变强,这是不容忽视的,推荐给你们! 都说B站是个宝,可是有人不会挖啊,没事,今天咱挖好的送你一箩筐,首先啊,我在B站上最喜欢看这个家伙的视频了,为啥 ,咱撇...

立即提问
相关内容推荐