logstash五个备选filebeatfluentdrsyslogsyslogng和Logstash的优点主要是它的灵活性,这主要是因为它有很多插件。一个LogstashPipeline管道包含多个工作线程,LogstashEvent事件在LogstashPipeline管道中执行:Logstash有大量的输入插件供开箱即用,输入插件使Logstash能够读取特定的事件源。
Logstash事件处理管道有三个阶段:输入→过滤→输出。输入生成的事件,过滤器修改它们,输出将它们发送到其他地方。输入和输出支持编解码器,使您能够在数据进入或退出管道时编码或解码数据,而无需使用单独的过滤器。一个LogstashPipeline管道包含多个工作线程,LogstashEvent事件在LogstashPipeline管道中执行:Logstash有大量的输入插件供开箱即用,输入插件使Logstash能够读取特定的事件源。
如果事件满足某些条件,您可以将过滤器与条件结合起来,对事件执行操作。一些常用的过滤器包括:有关可用过滤器的更多信息,请参见Filters 插件。输出是Logstash管道的最后一个阶段。一个事件可以通过多个输出,但是一旦所有的输出都被处理,事件就完成了它的执行。一些常用的输出包括:有关可用输出的更多信息,请参见Output 插件。编解码器是作为输入或输出的一部分运行的基本流过滤器。
Kafka也是Logstash的常用输出之一,一般用于数据传输。一般Kafka输出配置文件如下:logstashout Kafka的其他配置包括:logstashKafka插件输入输出默认的编解码器是json格式。输入输出时注意编码格式。在消息传递过程中,logstash会默认在消息代码中添加时间戳、主机名等相应信息。
原地址:服务生成的日志文件需要收集并可视化显示,一般结合logstash。Logstash具有实时收集日志的功能,可以动态统一不同来源的数据。任何类型的事件都可以通过各种输入、过滤功能和输出来丰富和转换。是一个重量级服务,它会占用大量内存,并会影响部署到此计算机的服务。是用于转发和收集日志数据的轻量级服务。
文章TAG:插件 logstash 项目 logstash 插件项目