阿里云Logstash支持100余款系统默认插件,包含开源和自研Logstash插件,能够提升集群在数据传输和处理、日志调试等各方面的能力。本文介绍阿里云Logstash支持的系统默认插件。

阿里云Logstash仅支持系统默认插件,不支持自定义插件。系统默认插件为阿里云Logstash预置的插件,您可以根据需求卸载或安装。具体操作,请参见 安装或卸载插件

阿里云Logstash支持的插件如下: logstash-input-ganglia 通过用户数据协议UDP(User Datagram Protocol)从网络读取Ganglia包。 Ganglia input plugin logstash-input-gelf 在网络上将GELF格式信息作为事件读取。 Gelf input plugin logstash-input-generator 生成随机日志事件。 Generator input plugin logstash-input-graphite 从Graphite工具读取指标。 Graphite input plugin logstash-input-heartbeat 生成心跳消息。 Heartbeat input plugin logstash-input-http 通过HTTP或HTTPS接收单行或多行事件。 Http input plugin logstash-input-http_poller 调用HTTP API,将输出解码为事件,并发送事件。 Http_poller input plugin logstash-input-imap 从IMAP服务器读取邮件。 Imap input plugin logstash-input-jdbc 通过JDBC程序界面,将任一数据库数据读取到Logstash中。 Jdbc input plugin logstash-input-kafka 从Kafka主题读取事件。 Kafka input plugin logstash-input-pipe 从长时间运行的管道命令中流式读取事件。 Pipe input plugin logstash-input-rabbitmq 从RabbitMQ队列中读取事件。 Rabbitmq input plugin logstash-input-redis 从Redis实例中读取事件。 Redis input plugin logstash-input-s3 从S3 Bucket中的文件流式读取事件。 S3 input plugin logstash-input-snmp 使用简单网络管理协议(SNMP)轮询网络设备,获取当前设备操作状态信息。 SNMP input plugin logstash-input-snmptrap 将SNMP trap消息作为事件读取。 Snmptrap input plugin logstash-input-sqs 从Amazon Web Services简单队列服务(Simple Queue Service,SQS)队列中读取事件。 Sqs input plugin logstash-input-stdin 从标准输入读取事件。 Stdin input plugin logstash-input-syslog 在网络上将syslog消息作为事件读取。 Syslog input plugin logstash-input-tcp 通过TCP套接字读取事件。 Tcp input plugin logstash-input-twitter 从Twitter Streaming API接收事件。 Twitter input plugin logstash-input-udp 在网络上通过UDP,将消息作为事件读取。 Udp input plugin logstash-input-unix 通过UNIX套接字读取事件。 Unix input plugin output logstash-output-elasticsearch 向Elasticsearch集群写入数据。 Elasticsearch output plugin logstash-output-kafka 向Kafka主题写入事件。 Kafka output plugin logstash-output-lumberjack 使用lumberjack协议发送事件。 Lumberjack output plugin logstash-output-nagios 通过Nagios命令文件,向Nagios发送被动检查结果。 Nagios output plugin logstash-output-pagerduty 根据预先配置的服务和升级政策发送通知。 Pagerduty output plugin logstash-output-pipe 将事件输送到另一个程序的标准输入。 Pipe output plugin logstash-output-rabbitmq 将事件推送到RabbitMQ exchange。 Rabbitmq output plugin logstash-output-redis 使用RPUSH命令将事件发送到Redis队列。 Redis output plugin logstash-output-s3 向亚马逊简单存储服务(Amazon Simple Storage Service, Amazon S3)批量上传Logstash事件。 S3 output plugin logstash-output-sns 向采用托管pub/sub框架的亚马逊简单通知服务(Amazon Simple Notification Service)发送事件。 Sns output plugin logstash-output-sqs 将事件推送到Amazon Web Services(AWS)SQS队列。 Sqs output plugin logstash-output-stdout 将事件打印到运行Shell命令的Logstash标准输出。 Stdout output plugin logstash-output-tcp 通过TCP套接字写入事件。 Tcp output plugin logstash-output-udp 通过UDP发送事件。 Udp output plugin logstash-output-webhdfs 通过webhdfs REST API向HDFS中的文件发送Logstash事件。 Webhdfs output plugin logstash-output-cloudwatch 聚合并发送指标数据到AWS CloudWatch。 Cloudwatch output plugin logstash-output-csv 以逗号分隔(CSV)或其他分隔的格式,将事件写入磁盘。基于文件输出共享配置值。内部使用Ruby CSV库。 Csv output plugin logstash-output-elastic_app_search 向Elastic App Search解决方案发送事件。 App Search output plugin logstash-output-email 收到输出后发送电子邮件。 您也可以使用条件来包含,或者排除电子邮件输出执行。 Email output plugin logstash-output-file 向磁盘文件写入事件。您可以将事件中的字段作为文件名和/或路径的一部分。 File output plugin logstash-output-graphite 从日志中读取指标数据,并将它们发送到Graphite工具。Graphite是一个用于存储和绘制指标的开源工具。 Graphite output plugin logstash-output-http 向通用HTTP或HTTPS端点发送事件。 Http output plugin filter logstash-filter-aggregate 聚合单个任务下多个事件(通常为日志记录)的信息,并将聚合信息推送到最后的任务事件。 Aggregate filter plugin logstash-filter-anonymize 将字段值替换为一致性哈希值,以实现字段匿名化。 Anonymize filter plugin logstash-filter-cidr 根据网络块列表检查事件中的IP地址。 Cidr filter plugin logstash-filter-prune 基于黑名单或白名单的字段列表来精简事件数据。 Prune filter plugin logstash-filter-clone 检查重复事件。将为克隆列表中的每个类型创建克隆。 Clone filter plugin logstash-filter-csv 解析包含CSV数据的事件字段,并将其作为单独字段存储(名字也可指定)。 该过滤器还可以解析带有任何分隔符(不只是逗号)的数据。 Csv filter plugin logstash-filter-date 解析字段中的日期,然后使用该日期或时间戳作为事件的logstash时间戳。 Date filter plugin logstash-filter-de_dot 将点(.)字符替换为其他分隔符,以重命名字段。 在实际应用中,该过滤器的代价较大。它必须将源字段内容拷贝到新目的字段,该新字段的名字中不再包含点(.),然后移除相应源字段。 De_dot filter plugin logstash-filter-dissect Dissect过滤器是一种拆分操作。 Dissect filter plugin logstash-filter-dns 对reverse阵列下的各个或指定记录执行DNS查找(A记录或CNAME记录查找,或PTR记录的反向查找)。 Dns filter plugin logstash-filter-drop 删除满足此过滤器的所有事件。 Drop filter plugin logstash-filter-elasticsearch 搜索Elasticsearch中的过往日志事件,并将其部分字段复制到当前事件。 Elasticsearch filter plugin logstash-filter-fingerprint 创建一个或多个字段的一致性哈希值(指纹),并将结果存储在新字段。 Fingerprint filter plugin logstash-filter-geoip 根据Maxmind GeoLite2数据库的数据添加关于IP地址的地理位置信息。 Geoip filter plugin logstash-filter-grok 解析任意非结构化文本并将其结构化。 Grok filter plugin logstash-filter-http 整合外部网络服务或多个REST API。 HTTP filter plugin logstash-filter-jdbc_static 使用预先从远程数据库加载的数据丰富事件。 Jdbc_static filter plugin logstash-filter-jdbc_streaming 执行SQL查询,并将结果集存储到目标字段。 将结果缓存到具有有效期的本地最近最少使用(LRU)缓存。 Jdbc_streaming filter plugin logstash-filter-json JSON解析过滤器,将包含JSON的已有字段扩展为Logstash事件中的实际数据结构。 JSON filter plugin logstash-filter-kv 自动解析各种foo=bar消息(或特定事件字段)。 Kv filter plugin logstash-filter-memcached 将外部数据整合到Memcached。 Memcached filter plugin logstash-filter-metrics 聚合指标。 Metrics filter plugin logstash-filter-mutate 在字段上执行转变。您可以重命名、删除、更换并修改您事件中的字段。 Mutate filter plugin logstash-filter-ruby 执行Ruby代码。 该过滤器接受内联Ruby代码或文件。 这两个方案互斥,在工作方式方面略有不同。 Ruby filter plugin logstash-filter-sleep 按照指定的休眠时间长度休眠。 在休眠时间内,Logstash将停止。这有助于限流。 Sleep filter plugin logstash-filter-split 通过分解事件的一个字段,并将产生的每个值嵌入原始事件的克隆版,从而克隆事件。 被分解的字段可以是字符串或字符串数组。 Split filter plugin logstash-filter-syslog_pri 解析Syslog(RFC3164)消息前部的PRI字段。 如果没有设置优先级,它会默认为13(每个请求注解)。 Syslog_pri filter plugin logstash-filter-throttle 限制事件的数量。 Throttle filter plugin logstash-filter-translate 一款普通搜索和替换工具,基于配置的哈希和/或文件决定替换值。 Translate filter plugin logstash-filter-truncate 截断超过一定长度的字段。 Truncate filter plugin logstash-filter-urldecode 解码URL编码字段。 Urldecode filter plugin logstash-filter-useragent 基于BrowserScope数据,将用户代理字符串解析为结构化数据。 Useragent filter plugin logstash-filter-xml XML过滤器。将包含XML的字段,扩展为实际数据结构。 Xml filter plugin codec logstash-codec-cef 根据《实施 ArcSight 通用事件格式》第二十次修订版(2013 年 6 月 5 日),使用Logstash编解码器处理ArcSight通用事件格式(CEF)。 Cef codec plugin logstash-codec-collectd 在网络上通过UDP从collectd二进制协议中读取事件。 Collectd codec plugin logstash-codec-dots 该编解码器生成一个点(.),代表它处理的一个事件。 Dots codec plugin logstash-codec-edn 读取并产生EDN格式数据。 Edn codec plugin logstash-codec-edn_lines 读取并产生以新行分隔的EDN格式数据。 Edn_lines codec plugin logstash-codec-es_bulk 将Elasticsearch bulk格式解码到单独的事件中,并将元数据解码到 [@metadata](/metadata) 字段。 Es_bulk codec plugin logstash-codec-fluent 处理fluentd msgpack模式。 Fluent codec plugin logstash-codec-graphite 编码并解码Graphite格式的行。 Graphite codec plugin logstash-codec-json 解码(通过输入)和编码(通过输出)完整的JSON消息。 Json codec plugin logstash-codec-json_lines 解码以新行分隔的JSON流。 Json_lines codec plugin logstash-codec-line 读取面向行的文本数据。 Line codec plugin logstash-codec-msgpack 读取并产生MessagePack编码内容。 Msgpack codec plugin logstash-codec-multiline 将多行消息合并到单个事件中。 Multiline codec plugin logstash-codec-netflow 解码Netflow v5、v9和v10(IPFIX)数据。 Netflow codec plugin logstash-codec-plain 处理事件之间没有分隔的明文。 Plain codec plugin logstash-codec-rubydebug 使用Ruby Awesome Print库输出Logstash事件数据。 Rubydebug codec plugin