logstash 插件处理顺序

以下是logstash的配置文件。用Go语言中的Beats开发Logstash 插件的最简单方法，经过一番研究，真的有人写过Logstash 插件将数据导出到click house:logstashoutput click house，输出完成了，但是输入呢。

目前常见的将Kafka数据导入ClickHouse的方案有两种，一种是通过ClickHouse内置的Kafka表格引擎实现，另一种是借助数据流组件，比如Logstash。下面将分别介绍这两种方案。Kafka table engine基于librdkafka库实现与Kafka的通信，但它只充当数据管道，负责从Kafka拉取数据。因此，还需要一个物化视图将Kafka引擎表中的数据实时同步到本地MergeTree series表中。

如果块不是在streamflushinterval_ms毫秒(默认为500毫秒)内形成的，则不管块的完整性如何，数据都将被刷新到表中。相关配置参数:)部署Kafka2)创建Kafka引擎表必需参数:可选参数:3)创建数据表使用已有的数据表，下面只给出分配表的创建语句。

在2、详解三款日志采集工具--Logstash,Fluentd,Logtail比较

DT时代，数以亿计的服务器、移动终端和网络设备每天都会产生海量日志。集中式日志处理方案有效解决了日志在完整生命周期中的消费需求，第一步是从设备收集日志并上传到云端。下面是三种常见的日志收集工具及其对比分析。Logstash是一个开源数据收集引擎，具有实时管道处理能力。简单来说，logstash作为数据源和数据存储分析工具之间的桥梁，结合ElasticSearch和Kibana，可以极大地方便数据的处理和分析。

包括日志、网络请求、关系数据库、传感器或物联网等。logstash基于JRuby，可以跨平台运行在JVM上。模块化设计，扩展性和互操作性强。Tdagent是开源社区流行的日志收集工具，是其商业版，由TreasureData公司维护，是本文选取的评测版。Fluentd基于CRuby实现，部分对性能至关重要的组件用C语言重新实现，整体性能不错。

原地址:服务生成的日志文件需要收集并可视化显示，一般结合logstash。Logstash具有实时收集日志的功能，可以动态统一不同来源的数据。任何类型的事件都可以通过各种输入、过滤功能和输出来丰富和转换。是一个重量级服务，它会占用大量内存，并且会影响部署到此计算机的服务。是用于转发和收集日志数据的轻量级服务。

Log循环路径:logstash收集log4j日志，过滤日志，输出到elasticsearch。kibana从es索引中查询数据进行显示。有些日志是没有意义的，但是占用了大量的磁盘空间，所以我想用filter过滤掉，然后输出有用的日志到es。滤镜插件用的很多，用的最多的是grok。有兴趣可以学一下。