logstash 删除字段_logstash filter 删除字段_冯佳兴的博客

解决方案：

在配置文件中进行过滤，删除没有必要的字段。
input {
  beats {
    port => 5044
filter{
    mutate{
        remove_field => ["host"]
        remove_field => ["agent"]
        remove_field => ["ecs"]
        remove_field => ["tags"]
        remove_field => ["fields"]
        remove_field => ["@version"]
        remove_field => ["@timestamp"]
        remove_field => ["input"]
        remove_field => ["log"]
output {
  elasticsearch {
    hosts => ["192.168.22.68:9200"]
    index => "english"
  stdout { codec => rubydebug }
结果如下： 
 kibana中显示效果如下： 
官网（https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html） 
参考博客（https://www.cnblogs.com/iiiiher/p/8000463.html）
                    问题 filebeat采集日志信息后，logstash打印信息，这个过程中，filebeat将自身的客户端信息也传送给了logstash，如果logstash不对这些字段进行过滤，导致es创建索引时，产生大量没有必要的字段。解决方案：在配置文件中进行过滤，删除没有必要的字段。input {  beats {    port =&gt; 5044  }}fi...
				Filter Plugin
Filter是Logstash功能强大的主要原因,它可以对Logstash Event进行丰富的处理,比如解析数据、删除字段、类型转换等等,常见的有如下几个:
date日期解析
grok正则匹配解析
dissect分割符解析
mutate对字段作处理,比如重命名、删除、替换等
json按照json解析字段内容到指定字段中
geoip增加地理位置数据
ruby利用r...
1. 安装
参考官方网站 Logstash
# curl -OL https://artifacts.elastic.co/downloads/logstash/logstash-7.13.2-linux-x86_64.tar.gz
# tar -xf logstash-7.13.2-linux-x86_64.tar.gz -C /usr/local/
# mv /usr/local/logstash-7.13.2/ /usr/local/logstash
2. 测试运行
				文章目录Logstash基本语法组成Logstash输入插件(Input)Logstash编码插件(Codec)Logstash过滤器插件(Filter插件)Logstash输出插件（output）
Logstash基本语法组成
logstash之所以功能强大和流行，还与其丰富的过滤器插件是分不开的，过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的事件到后续流程中。
Logstash配置文件有如下三部分组成，其中input、output部分是必须配置，filt
#blog: xiaorui.cc #代码高亮有问题，大于可能会被转义成, 大家注意一下.
input { file { type => "producer" path => "/data/buzzMaster/extractor.log" } }
filter { if ([message] =~ "^xiaorui.cc")
{ drop {} } }
output { stdout { codec => .
	file {
		path => "/data/xx/log/xsec_anti_cheat_d/xsec_anti_cheat_d.log"
		start_position => "end"
		sincedb...
解决方案 ：

解决方案：
