logstash清除sincedb_path上传记录，重传日志数据

相关文章推荐

好帅的冲锋衣 · Android初级躲不开的那些坑 - 掘金· 1 年前 ·

八块腹肌的砖头 · VBA函数定义及说明_vba自定义函数参数提 ...· 1 年前 ·

酷酷的紫菜 · 查询字段、运算符、宏和变量 - Azure ...· 1 年前 ·

玉树临风的汤圆 · Ansible系列(五)：各种变量定义方式和 ...· 1 年前 ·

logstash清除sincedb_path上传记录，重传日志数据

logstash通过一个名为 sincedb_path 下的记录文件记录当前logstash已经上传的日志文件的位置，如果指定为 null，则使用home默认的。清除这个sincedb_path 下的文件，将导致logstash丢失所有上传记录，那么logstash将重新上传所有监控文件（意味着如果原有数据已上传一部分，那么还会出现重复的日志文件）。

不过有时候可以利用 sincedb_path 这一特性，指定sincedb_path 存储的文件，并清除文件里面的所有内容，将会触发logstash重复上传所有日志数据。

input{
    file{
        sincedb_path => [ "E:/history/records.data" ]
如果清除records.data，那么触发重传。
                    logstash清除sincedb_path上传记录，重传日志数据logstash通过一个名为 sincedb_path 下的记录文件记录当前logstash已经上传的日志文件的位置，如果指定为 null，则使用home默认的。清除这个sincedb_path 下的文件，将导致logstash丢失所有上传记录，那么logstash将重新上传所有监控文件（意味着如果原有数据已上传一部分，那么还会出现重复的日志文件）。不过有时候可以利用 sincedb_path 这一特性，指定sincedb_path 存储的文
				基于Logstash的日志数据采集和ELK可视化海量日志分析平台实战（全套视频+课件+代码+讲义+工具），具体内容包括：
01  Logstash的架构及运行流程
02  Logstash的数据采集案例（一）
03  Logstash的数据采集案例（二）
04  Kibana的介绍部署及功能模块讲解
05  ELK企业常见四种架构及应用
06  ELK综合案例-案例数据的导入
07  ELK综合案例-Logstash读取Mysql数据到ES
08  ELK综合案例-常见业务指标分析
09  ELK综合案例-Kibana生成报表展示
				1. 安装 logstash
安装过程很简单，直接参照官方文档： https://www.elastic.co/guide/en/logstash/current/installing-logstash.html
# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
# vim /etc/yum.repos....
				由于测试玩耍，读取日志文件之后就不重新读取，需要每次把sincedb文件删除了，才会重新读取日志文件
	低版本的Logstash2.4.0默认的sincedb文件目录在home目录下，通过ll -a就可以查看到
	但是：Logstash6.5.4在home目录下没有找到
	使用：find / -name .sincedb_*
	查看到sincedb文件在
	/usr/local/logstash-...
tar -xvf logstash-7.7.0.tar.gz
mv logstash-7.7.0  logstash
将配置文件std_ruby.conf上传到   /usr/local/logstash/config/
添加配置文件说明
codec => #可选项，默认是plain，可设置其他编码方式。
discover_interval => #可选项，logstash多久检查一下path下有新文件，默认15s。
exclude =&g
				许多将数据驱动到 Elasticsearch 中的系统将利用 Elasticsearch 为新插入的文档自动生成的 id 值。 但是，如果数据源意外地将同一文档多次发送到Elasticsearch，并且如果将这种自动生成的_id值用于Elasticsearch插入的每个文档，则该同一文档将使用不同的_id值多次存储在Elasticsearch中。 如果发生这种情况，那么可能有必要找到并删除此类重复项。 因此，在此博客文章中，我们介绍如何通过
使用Logstash
	使用Python编写的自定义代码从Ela
1. 安装
参考官方网站 Logstash
# curl -OL https://artifacts.elastic.co/downloads/logstash/logstash-7.13.2-linux-x86_64.tar.gz
# tar -xf logstash-7.13.2-linux-x86_64.tar.gz -C /usr/local/
# mv /usr/local/logstash-7.13.2/ /usr/local/logstash
2. 测试运行
				https://blog.csdn.net/qq_39669058/article/details/86480578
删除就能重新读取日志文件了，也可以指定指定sincedb文件的目录使用，重要该路径必须指定到文件不能指定到文件的目录
sincedb_path => “/home/logs/index.txt”
				今天看了一下 Elastic 的官方例子。觉得还是很不错。在今天的文章中，我就常见的几种格式的日志来做一个说明，希望对大家有所帮助。关于 Logstash，我之前有做一个 meetup。里面还含有一个完整的例子。你可以在如下的地址进行查看：
Logstash：Logstash 入门教程 （一）
	Logstash：Logstash 入门教程 （二）
另外，我的另外一篇文章 “Logstash：Data转换，分析，提取，丰富及核心操作” 里面含有丰富的例子供大家阅读。
以下示例说明了如何配置 Logst.
2.4.1
在Logstash中，已经通过logstash-input-file插件导入了一些本地日志文件。现在需要重新导入这些日志文件，但是logstash-input-file插件会自动忽略之前已经读取的文件。要想重新导入之前的文件，只能清空文件监控记录。
那么，文件监控记录到底在哪里？
在官方插件说明文档中，关于文件监控记录(sincedb)
				logstash配置文件包含三个配置部分:
分别为：input{}、filter{}、output{}。{} 定义区域，区域内可以定义一个或多个插件，通过插件对数据进行收集，加工处理，输出。
在{}配置中可以使用表达式完成要采集数据的逻辑，表达式中的数据类型和运算符如下：
1、数据类型： 
  布尔值类型: ssl_enable =&gt; true  字节类型: bytes =&gt...
Logstash 主要收集一些数据并把数据保存到数据库，或者文件中或者其他的介质中。通过FileWatch的Ruby Gem库来监听文件的变化。Logastash会每个15s的时间去监听问价的变化情况。
Logstash收集日志的能力很强轻，不限日志来源，...
				日常部署服务时，为了达到 High Available 或是 Load Balance 的目的，经常会在多个服务器部署多个服务实例。不同实例的日志一般都是直接写入本地的日志文件中，一旦出现问题或是日常检查，运维人员需要登录不同的服务器获取日志详情，十分低效。
因此，希望能够通过Logstash读取本地日志文件，并进行简单的处理，将非格式文本解析为格式化数据，最终输出到 ES 或是 MySQL 等数据库管理工具进行同一管理查看，提升运维人员的工作效率。
[root@iZwz9b8x8l2oe511fss4qfZ logrotate.d]# cat kibana
/data/kibana/logs/kibana.log {
        daily
        minsize 10M
        missingok
        notifempty
        dateext
                    @Autowired
    public FileUploadController(StorageService storageService) {
        this.storageService = storageService;
    }请问一下这里为什么要注入一次自己？
                pycharm：无法加载文件activate.ps1，因为在此系统上禁止运行脚本，Windows10系统
                    XiangQinxi: 
                    关闭安全模式
                Python:folium地图增加自定义icon标记物
                    Break guitar！: 
                    为什么运行以后不显示那个标记的文本呢，就图上的zhang
                pycharm：无法加载文件activate.ps1，因为在此系统上禁止运行脚本，Windows10系统
                    软工214-514-郭苏琪: 
                    这命令执行后会对系统造成什么影响吗
                Java CompletableFuture：allOf等待所有异步线程任务结束（4）
                    颜值六毛六: 
                    这段代码有问题。
CompletableFuture.allOf(..) 方法传入的参数是CompletableFuture。
在调用回调的方法也会返回一个CompletableFuture，所以allof方法需要使用这个回调的CompletableFuture。
解决方法如下
[code=java]
 CompletableFuture<String> f1 = CompletableFuture.supplyAsync(() -> {
            try {
                TimeUnit.SECONDS.sleep(3);
            } catch (InterruptedException e) {
                e.printStackTrace();
            return "f1";
        final CompletableFuture<String> callbackFuture1 = f1.whenCompleteAsync(new BiConsumer<String, Throwable>() {
            @Override
            public void accept(String s, Throwable throwable) {
                System.out.println(System.currentTimeMillis() + ":" + s);
//注意这里不是f1,f2而是使用回调的CompletableFuture
CompletableFuture<Void> all = CompletableFuture.allOf(callbackFuture1, callbackFuture2);
//...接下来的处理
[/code]