ELK解析日志是logstash映射出错

通过filebeat读取日志文件,文件内容如下
127.0.0.1 - - [10/Jul/2018:08:51:57 +0800] "GET / HTTP/1.1" 404 986
logstash的input和output如下
input {
beats {
port => "5044"
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
date {
match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
target => ["datetime"]
}
geoip {
source => "clientip"
}
}
output {
elasticsearch {
hosts => "127.0.0.1:9200"
index => "access_log"
}
stdout { codec => rubydebug }
}

本来应该可以自动映射出来
但是出来的内容是这样的
{
"_index": "access_log",
"_type": "doc",
"_id": "yrO3y2UBS1hmFNgRv6jZ",
"_score": 1,
"_source": {
"host": "LAPTOP-C9R6GBSV",
"tags": [
"beats_input_codec_plain_applied",
"_grokparsefailure",
"_geoip_lookup_failure"
],
"@timestamp": "2018-09-12T02:59:00.123Z",
"message": "127.0.0.1 - - [10/Jul/2018:08:51:57 +0800] "GET / HTTP/1.1" 404 986",
"prospector": {
"type": "log"
},
"source": "C:\Users\Desktop\logs\localhost_access_log.2018-07-10.log",
"beat": {
"name": "LAPTOP-C9R6GBSV",
"hostname": "LAPTOP-C9R6GBSV",
"version": "6.2.0"
},
"offset": 996,
"@version": "1"
}
}

            很明显没有映射出来
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
ELK日志处理之使用Grok解析日志
介绍如何在logstash中使用Grok和正则表达式解析任意格式日志,以及Grok Debugger的使用。
ELK采集Mysql、Oracle配置
进入这篇文章的人默认是已经搭建好ELK的日志平台一、概述1、日志有什么用?日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。2、何为ELK?ELK 由ElasticSearch 、 Logstash 和 Kibana 三个开源工具组成,是一个开
ELK测试:logstash解析nginx时间字段
下面比较 nginx配置中输出日志格式的时间字段在两种格式下的解析方法:$time_iso8601log_format json '{"@timestamp":"$time_iso8601",' '"host":"$server_addr",' '"clientip":"$remote_addr",'
ELK 5.0.1+Filebeat5.0.1实时监控MongoDB日志并使用正则解析mongodb日志
ELK 5.0.1+Filebeat5.0.1实时监控MongoDB日志并适用正则解析mongodb日志
日志分析利器elk与logback(log4j)实战
在近期的项目中,由于其项目中记录了许多日志,当系统由于某些BUG挂掉时,单纯地通过命令来查询错误日志很不方便排除,且搜索起来很非常不方便,很花费时间,对于一向不喜欢干重复单调很费时间的我来说,如果没有一种办法来解决日志问题是一件很痛苦的事情。那天偶然,公司的CTO说解决这种事情,只需要ELK就能解决掉了(CTO果然见多识广),对于一向喜欢新技术的我来说,我便在网上搜索了一些关于ELK的知识,正好今
21.ELK实时日志分析平台之Logstash简介
简单介绍Logstash这个具备实时处理能力的开源的数据收集引擎。
ELK实战-Logstash:收集rsyslog日志
概述本文主要是展示将logstash作为rsyslog服务器,并收集远程的rsyslog日志。本文阅读的基础建立在: * 了解rsyslog服务器,或者阅读rsyslog日志服务器-日志写入远端rsyslog服务器 * 对ELK有初步的了解,并有体验过ELK进行日志收集,或者阅读ELK:环境搭建&初体验测试环境2个CentOS7系统: ELK服务器 rsyslog客户端 实战logstash配置
ELK(elasticsearch+logstash+kibana)实现Java分布式系统日志分析架构
ELK(elasticsearch+logstash+kibana)实现Java分布式系统日志分析架构 日志是分析线上问题的重要手段,通常我们会把日志输出到控制台或者本地文件中,排查问题时通过根据关键字搜索本地日志,但越来越多的公司,项目开发中采用分布式的架构,日志会记录到多个服务器或者文件中,分析问题时可能需要查看多个日志文件才能定位问题,如果相关项目不是一个团队维护时沟通成本更是
ELK+FileBeat日志分析系统
日志分析系统重新构建了一下,选定的技术方案是ELK,也就是ElasticSearch, LogStash,Kibana。另外加了Filebeat和Kafka 2017.06.28 这两天稍微清闲一些,就趁机重新构建了日志分析系统。没有写代码,全部使用成熟的技术方案来做数据采集,至于后期如何使用这些数据,还在考虑中,先收集吧。 整体的解决方案如下图所示: 其中,日志...
ELK日志处理之使用logstash收集log4J日志
介绍logstash处理log4j日志,包括log4j的简介、工程的搭建、log4j配置、logstash配置,实现日志从产生到logstash再到Elasticsearch的整个流程。
ELK日志系统开发,Logstash收集nginx日志(二)
一、Nginx日志例子 Nginx日志例子 nginx日志默认配置: log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http...
shell实现按日期删除elk系统产生的logstash日志索引数据
分享一个简单的按日期删除elk系统产生的logstash日志索引数据的shell脚本,直接上代码: #/bin/bash #author: john li #created at 2017/9/15 16:00 if test ! -f "/var/log/elkDailyDel.log" ;then touch /var/log/elkDailyDel.log fi #请将该行当中
ELK实战-Logstash multiline:识别错误堆栈
概述在通过ELK收集日志的时候,通常需要对日志进行分析,例如实时监控错误堆栈,并进行告警。通常错误堆栈都是多行的,但通常ELK默认都是识别单行的,怎么才能多行呢?logstash的codec、filter中均有multiline插件,可以匹配单行内容,并于上下行作为1个输入。本文主要讲述如何使用logstash的multiline插件来识别错误堆栈。测试环境1个CentOS7系统: * ELK
ELK日志检索系统--Logstash配置说明一
Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。本文针对官方文档进行翻译以及实践,希望有更多的有用户了解、使用这款工具。1. 下载、安装、使用这款工具是开箱即用的软件,下载自己对应的系统版本即可。下载地址:https://www.elastic.co/downloads/logstash。下载
分布式实时日志分析解决方案 ELK 部署架构
2017-11-29 FEINIK 开源中国 开源中国 开源中国 微信号 oschina2013 功能介绍 OSChina 开源中国 官方微信账号 一、概述 ELK 已经成为目前最流行的集中式日志解决方案,它主要是由Beats、Logstash、Elasticsearch、Kibana等组件组成,来共同完成实时日志的收集,存储,展示
MySQL 慢日志解析推送
背景 方案确定 搭建 配置文件 部署 问题 背景之前有用 pt-query-digest 做的慢日志分析的方案,定期将所有机器的慢日志的收集起来,传到中心机上用 pt-query-digest 分析一遍,最后展示出来。 基于 pt 分析展示的结果比较详细,有 SQL 排行,占比等,但是用户体验不是特别好,不能一目了然。 该功能本来是可以给开发看的,但是很少有开发会去看,每次有慢查询需要和开发配合进
Log4j2+ELK使用说明
Log4j2+ELK使用说明
ELK(二)nginx日志分析
简介由于公司没有日志收集系统,所以之前搭建了一个ELK日志收集分析系统,如此一来查询日志就方便了很多,再加上ELK的一些方便实用的索引分析功能,可以将数据已图表形式展现,一目了然。网上好多都是采用了ELK+redis的架构,但考虑到目前公司业务不是很多,所以没有加入redis一层 ELK的安装请参考我上一篇文章 ELK环境搭建 日志收集配置其实你的ELK系统搭建完成以后,剩下的主要就是logst
Logstash学习14_Logstash中文乱码问题
使用Logstash读取日志的时候,常常会遇到中文乱码问题。不同文件字符集的对应logstash配置文件中的字符集。此处以linux系统下环境为例。 工具/原料 Vi编辑器 Linux基本命令 方法/步骤    如果要用logstash去读取某日志,首先查看该文件的字符编码。
ELK+Filebeat 集中式日志解决方案详解
Google+用电子邮件发送本页面 ELK Stack 简介 ELK 不是一款软件,而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件,通常配合使用,而且又先后归于 Elastic.co 公司名下,所以被简称为 ELK Stack。根据 Google Trend 的信息显示,ELK Stac
ELK实战-Logstash:监控日志文件
概述ELK可以用来实时监控日志文件,并记录。测试环境1个CentOS7系统: ELK服务器 测试思路 ELK监控/var/log/messages日志文件,并记录 实战logstash配置文件logstash的配置文件(logstash.conf.file)如下input { file { path => "/var/log/messages" start_position =>
Springboot项目搭配ELK日志平台
Springboot整合ELK日志平台,logback日志输出到logstash
ELK结合logback搭建日志中心
ELK简介ELKStack即Elasticsearch + Logstash + Kibana。日志监控和分析在保障业务稳定运行时,起到了很重要的作用。比如对nginx日志的监控分析,nginx是有日志文件的,它的每个请求的状态等都有日志文件进行记录,所以可以通过读取日志文件来分析;redis的list结构正好可以作为队列使用,用来存储logstash传输的日志数据。然后elasticsearch
全方位立体监控之日志解决方案ELK(2)
Logstash详细介绍下面我们将对ELK框架进行深入详细的了解,了解了其中的原理,才能选择更加高效可靠的配置方案。ElasticSearch的配置比较简单,主要性能瓶颈在于内存以及节点设置方面,Kibana的配置也较为简单,web应用无很大的优化改进空间,主要在于第三方插件的使用。下面我们主要介绍Logstash的方案设计。 Logstash使用Ruby语言编写,它编写了自己的一套DSL。Logs
ELK实战之使用filebeat代替logstash收集日志
一、Filebeat介绍Filebeat是轻量级单用途的日志收集工具,用于在没有安装java的服务器上专门收集日志,可以将日志转发到logstash、elasticsearch或redis等场景中进行下一步处理。官方文档:https://www.elastic.co/guide/en/beats/filebeat/6.0/index.html二、Filebeat安装和配置1、filebeat安装#...
在Windows系统下搭建ELK日志分析平台
再记录一下elk的搭建,个人觉得挺麻烦的,建议还是在linux系统下搭建,性能会好一些,但我是在windows下搭建的,还是记录一下吧,像我这种记性差的人还是得靠烂笔头 简介: ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成:     Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副
ELK+Filebeat集中式日志解决方案(centos7)
ELK Stack 概述 ELK是一组开源软件的简称,其包括Elasticsearch、Logstash 和 Kibana。
ELK日志管理之——logstash部署
1、yum源配置[root@localhost ~]# cat > /etc/yum.repos.d/logstash.repo <<EOF [ [logstash-1.5] n name=logstash repository for 1.5.x packages b baseurl=http://packages.elasticsearch.org/logstash/1.5/centos g g
ELK日志系统介绍
1. 什么是ELK 官网:https://www.elastic.co/ ELK系统主要由三部分组成,分别是elasticsearch、logstash、kibana。 ELK系统收到推送过来的日志后,首先由logstash解析日志中的字段,分解成一个一个的关键字。elasticsearch将关键字与日志信息关联起来,以一种特定的格式化方式存储数据到硬盘。kibana提供与用户的交互界面,根
ELK日志监控分析系统Logstash详解之——filter模块
摘要: Logstash三个组件的第二个组件,也是真个Logstash工具中最复杂,最蛋疼的一个组件,当然,也是最有作用的一个组件。 1、grok插件 grok插件有非常强大的功能,他能匹配一切数据,但是他的性能和对资源的损耗同样让人诟病。Logstash三个组件的第二个组件,也是真个Logstash工具中最复杂,最蛋疼的一个组件,当然,也是最有作用的一个组件。 1、grok插件 grok插件有非...
ELK安装和配置,简单演示监控tomcat日志记录
ELK的安装和配置,简单演示监控tomcat日志记录 1.安装,地址      官网:https://www.elastic.co/      logstash:https://www.elastic.co/products/logstash      elasticsearch:https://www.elastic.co/products/elasticsearch
搭建ELK(ElasticSearch+Logstash+Kibana)日志分析系统(十四) logstash grok 正则解析日志
摘要 这一节补充一下logstash使用grok正则解析日志Grok 是 Logstash 最重要的插件。通过在filter中使用grok,可以把日志中的关键字匹配出来。grok正则主要有两部分: 一是grok自带的grok模式表达式,即是grok预定义好的一些表达式,可以匹配一些常见的字符串,如ipv4、ipv6、mac地址等 二是通过正则表达式来匹配,grok支持约120种正则表达式,详见12
ELK中logstash下的grok正则表达式总结
首先,我的web项目打印的日志是这样的: 2016-11-30 11:10:44,568 INFO [org.springframework.web.servlet.DispatcherServlet] - 这样的格式是由于我使用的是log4j.properties配置的是 # Pattern to output: date priority [category] - message l
在Windows系统下搭建ELK日志分析平台(ElasticSearch、Logstash和Kiabana)
再记录一下elk的搭建,个人觉得挺麻烦的,建议还是在Linux系统下搭建,性能会好一些,但我是在windows下搭建的,还是记录一下吧,像我这种记性差的人还是得靠烂笔头 简介: ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成:     Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动
logstash 分析nginx 错误日志
[root@dr-mysql01 frontend-error]# cat logstash_error.conf input { file { type => "zj_frontend_error" path => ["/data01/applog_backup/zjzc_log/zj-frontend0*erro
基于ELK的OpenStack日志获取和分析 [1] - ELK概述
1.  ELK概述 我们在大规模服务器节点上部署某分布式软件后(如OpenStack), 需要对其进行持续运维和监测状态。一般情况下,  通过实时查看和过滤该软件的log日志是必须的通用手段。手动在每个节点上挨个查看log文件效率低下, 并不现实, 而自己写脚本去每个节点上抓取log文件的性能并不高。 ELK这套实时日志分析系统能够有效解决上述问题, 并能和其他运维管理系统集成, 达到自动抓取
ELK实时日志分析平台环境部署--完整记录(ElasticSearch+Logstash+Kibana )
转载:https://www.cnblogs.com/kevingrace/p/5919021.html在日常运维工作中,对于系统和业务日志的处理尤为重要。今天,在这里分享一下自己部署的ELK(+Redis)-开源实时日志分析平台的记录过程(仅依据本人的实际操作为例说明,如有误述,敬请指出)~================概念介绍================日志主要包括系统日志、应用程序日志...
Graylog——日志聚合工具的后起之秀
日志管理日志管理工具:收集,解析,可视化 Elasticsearch - 一个基于Lucene的文档存储,主要用于日志索引、存储和分析。 Fluentd - 日志收集和发出 Flume -分布式日志收集和聚合系统 Graylog2 -具有报警选项的可插入日志和事件分析服务器 Heka -流处理系统,可用于日志聚合 Kibana - 可视化日志和时间戳数据
23.ELK实时日志分析平台之Beats平台搭建
介绍实时日志分析平台ELK的搭建过程。
Springboot+logback集成ELK处理日志实例
一. 背景ELK官网最近把我们的项目从cloud foundry迁移到了K8S,但是公司的容器系统才出现没多久,还不是很成熟,所以我们就用了公司的K8S集群,其他的自己去搞下,日志就是一个很大的问题,容器内部的日志真不是给人看的。调研了下,主流还是elk。正好项目中的全文检索使用的elasticsearch,另外在集成logstash+kibana就可以了。elk的安装教程,自行百度,注意版本依赖问
相关热词 c++和c#哪个就业率高 c# 批量动态创建控件 c# 模块和程序集的区别 c# gmap 截图 c# 验证码图片生成类 c# 再次尝试 连接失败 c#开发编写规范 c# 压缩图片好麻烦 c#计算数组中的平均值 c#获取路由参数