Logstash grok匹配时间戳

#日志时间戳字段
time="1647480801"
#grok匹配时间戳
time=\"%{NUMBER:LogTime}\"
#时间戳格式化输出
date {
   match => ["time","yyyy/MM/dd HH:mm:ss Z","UNIX"]
   target => "LogTime"
#输出格式
"LogTime"="2022-03-17T02:09:44.000Z"
#日志时间戳字段
Mar 17 13:12:03
#grok匹配时间戳
(?<LogTime>(?<Date>%{MONTH}%{SPACE}%{MONTHDAY})%{SPACE}(?<Time>%{TIME}))
```python
#输出格式
"LogTime"="Mar 17 13:12:03"
#日志时间戳字段
2022-03-17 10:21:55
#grok匹配时间戳
(?<LogTime>(?<Date>%{YEAR}-%{MONTHNUM}-%{MONTHDAY})%{SPACE}(?<Time>%{TIME}))
#输出格式
"LogTime"="2022-03-17 10:21:55"
#日志时间戳字段
Mar 17 2022 02:28:05
#grok匹配时间戳
(?<LogTime>(?<Date>%{MONTH}%{SPACE}%{MONTHDAY}%{SPACE}%{YEAR})%{SPACE}(?<Time>%{TIME}))
#时间戳格式化输出
#输出格式
"Mar 17 2022 02:28:05"
#日志时间戳字段
Mar 16 16:49:03
#grok匹配时间戳
(?<LogTime>(?<Date>%{MONTH}%{SPACE}%{MONTHDAY})%{SPACE}(?<Time>%{TIME}))
#输出格式
"LogTime"="Mar 16 16:49:03"
#日志时间戳字段
2022-03-17 10:21
#grok匹配时间戳
(?<LogTime>(?<Date>%{YEAR}-%{MONTHNUM}-%{MONTHDAY})%{SPACE}(?<Time>%{HOUR}:%{MINUTE}))
#输出格式
"LogTime"="2022-03-17 10:21"
#日志时间戳字段
2022-03-17 11:01:05.16
#grok匹配时间戳
(?<LogTime>(?<Date>%{YEAR}-%{MONTHNUM}-%{MONTHDAY})%{SPACE}(?<Time>%{HOUR}:%{MINUTE}:%{SECOND}.%{SECOND}))
#输出格式
"2022-03-17 11:01:05.16"
#日志时间戳字段
March 17th 2022 10:58:37.000
#grok匹配时间戳
(?<LogTime>(?<Date>%{MONTH}%{SPACE}%{MONTHDAY}th%{SPACE}%{YEAR})%{SPACE}(?<Time>%{HOUR}:%{MINUTE}:%{SECOND}.%{SECOND}))
#输出格式
"March 17th 2022 10:58:37.00"
参考：
 https://www.thinbug.com/q/53532657
 https://www.cnblogs.com/zhangan/p/11395056.html
                    Logstash grok 匹配时间戳 网络设备、安全设备、操作系统、数据库管理系统、业务应用时间戳常见时间戳类型| 表达式 | 名称 | 匹配例子||--|--|--||DATE_US| 美国时间 | 10-01-1892、10/01/1892/ || DATE_EU | 欧洲日期格式 | 01-10-1892、01/10/1882、01.10.1892 ||ISO8601_TIMEZONE  | ISO8601时间格式 | +10:23、-1023 || TIMESTAMP_ISO8601
				
一、参考网站
官方预定义的 grok 表达式：https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns
grok·ELKstack中文指南：https://elkguide.elasticsearch.cn/logstash/plugins/filter/grok.html
Logstash基础正则地址：https://github.com/elastic/logstash
 korg是ruby logstash grok正则表达式模式的python端口。
Logstash带有100多种内置模式，用于构造非结构化数据。 在处理诸如apache，linux，haproxy，aws等之类的日志数据时，绝对应该利用此优势。 但是，在使用非结构化数据时，您也应该使用它，而您只是自己提供定制模式。
 在此演示中，我快速向您展示如何在一个简单的Web服务器日志示例中使用它：
 Serving HTTP on 0.0.0.0 port 8080 (http://0.0.0.0:8080/) ...
127.0.0.1 - - [18/Jan/2020 10:2
				
除了作为搜索引擎之外，Elasticsearch 还是一个强大的分析引擎。 但是，为了充分利用 Elasticsearch 的近实时分析功能，在将数据吸收到 Elasticsearch 中时向数据添加结构通常很有用。 在schema on write vs. schema on read博客文章中，可以很好地解释其原因，而在本博客系列的其余部分中，当我谈论结构化数据时，我指的是 schema on write。
由于结构化数据非常重要，因此在这个分为三部分的博客系列中，我们将探讨以下内容：
如何通...
				
避坑指南1.背景2.grok/date插件介绍2.1.grok插件2.2.date插件3.埋坑3.1.grok获取输入源文件名称3.2.grok解析多个日志文本字段输出自定义字段3.3.grok、data插件搭配解析日志日期替换@timestamp2.4.输出ES使用索引模板
Logstash 是一个开源数据收集引擎，具有实时流水线功能。通过输入、过滤、输出三个步骤Logstash 可以将不同来源的数据加工后同时输出至多个数据源。
logStash接收到的数据一般都是各个业务系统的日志，需要使用f
				
logstash中的timestamp时间戳时间由logtash在采集到日志时间时候自动设置，有些时候，需要把这个默认的timestamp时间修改为日志数据中提取到的时间，使两者一致。可以通过配置文件实现：
上述配置的grok将匹配每一行日志中开始的[]里面的数据作为时间放入到logtime中，然后在date里面，将按照yyyy-MM-dd HH:mm:ss.SSS的日期时间格式把时间最终覆盖系统默认的timestamp中。也可以通过ruby代码实现把自己提取到的日志时间作为系统默认的时间戳：...
Logstash是Elastic stack 中的一个开源组件，其不仅能够对日志进行抓取收集，还能对抓取的日志进行过滤输出。Logstash的过滤插件有多种，如：grok、date、json、geoip等等。其中最为常用的为grok正则表达式过滤。
二、grok的匹配语法
grok的匹配语法分为两...
Logstash 本身不能建立集群，Filebeat 连接 Logstash 后会自动轮询 Logstash 服务器是否可用，把数据发送到可用的 Logstash 服务器上面去
Logstash 配置，监听5044端口，接收 Filebeat 发送过来的日志，然后利用 grok 对日志过滤，根据不同的日志设置不同的 type，并将日志存储到 Elasticsearch 集群上面
项目...
Logstash的Grok 可以使蹩脚的、无结构的日志内容结构化
需要注意的地方
grok 模式是正则表达式，因此这个插件的性能受到正则表达式引擎严重影响，效率并不高。如果通过给定的匹配格式匹配不上会Kibana查询的时候打上tag 为 grok failed 的标签
grok模式的语法如下：
%{SYNTAX:SEMANTIC}
SYNTAX：代表匹配值的类型,例如3.44可以...
				
上一篇讲了如何使用Logstash监控nginx日志并打印到控制台或导入到ES中，在kibana的discover中我们可以根据@timestamp时间对数据进行过滤和排序，但这里显示的@timestamp时间是指logstash读取到日志的时间而不是日志真正产生的时间，本篇就介绍如何配置使logstash在采集日志的过程中使用日志的真实时间戳作为消息体的时间戳，便于我们之后的分析
ELK系列(一)、安装ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0
ELK系