logstash 插件项目

multi line letslogstash将多行数据转换为一个事件。当然，logstash也支持将一行数据变成多个事件。logstash提供split 插件，用于将一行数据拆分成多个事件。插件 Configuration:运行结果:对于test1#test2，上面的logstash configuration将其变成了以下两个事件:需要注意的是，split 插件结束后，将直接进入输出阶段，后续的所有过滤都不会执行。

在工作中，我们满足了将Hive数据同步到Clickhouse的业务需求。一开始我们写Spark task，用SparkSQL读Hive，然后用JDBC写Clickhouse。后来要同步的表越来越多，每次写Spark task的成本似乎有点高。所以，我写了一个通用的Spark任务，指定Hive表和字段，Clickhouse表和字段，每次指定不同的参数。

这不就是ETL要做的吗？当然，继续增强之前的火花完全可以实现这个功能。但是说到ETL，不是有专业强大的Logstash吗？为什么需要反复做轮子？经过一番研究，真的有人写过Logstash 插件将数据导出到click house:logstashoutput click house。输出完成了，但是输入呢？很聪明，就用JDBC 插件。

codec支持的编码格式有plain、json、json_lines等。平原是最简单的代码插件。你输入的什么信息都会被返回，比如上面例子中的时间戳和类型，这些都不会被带来。有时候logstash采集的日志是JSON格式的，我们可以在输入字段中添加codec>json进行解析，这样就可以根据具体内容生成字段，方便分析和存储。

下面是一个json编码的时间配置文件:你会发现插件是json，会带一些信息，比如主机、@版本、@时间戳。json的每个字段都是key:value格式，多个字段之间用逗号分隔。这种输出比较长，所以我们使用json_lines编码格式稍微好一点。Json_lines将以每个key:value一行的形式扩展Json数据。

ELK现在很流行，可以快速搭建日志收集系统。其实一开始我就不明白为什么后端日志收集层logstash是用ruby写的。众所周知，像ruby这样的动态语言其实更适合网站的快速开发(ror)。像日志收集这样的后端应用，需要对负面日志的收集和分析，尤其是对日志的分析会消耗大量的cpu，这样大量的数据很容易触及天花板。对于袋鼠云后端日志的收集和分析，前期使用的是logstash的ruby版本，在4g4core虚拟机上每小时只能处理800w条数据。这种性能是多次优化的结果。

优点Logstash的主要特点是灵活性，这主要是因为它有很多插件。那么它的clear文档有一个简单的配置格式，这样它就可以应用于各种场景。这种良性循环让我们可以在网上找到很多资源，处理几乎任何问题。以下是一些例子:5分钟渐渗数据数据库弹性搜索解析弹性搜索日志重写弹性搜索slowloggsyoucanreplay with JMeter缺点Logstash就其性能和资源消耗而言是致命的(默认堆大小为1GB)。

Logstash是一个功能强大的数据处理工具，可以实现数据传输、格式处理和打印格式，具有插件的强大功能，常用于日志处理。Logstash建议在修改配置项以提高性能时，一次只修改一个配置项，并观察其性能和资源消耗(cpu、io、内存)，Logstash原创简介0:27:03yinbiao代码年龄3年专注目录1工作原理1.1输入1.2过滤1.3输出2安装Logstash3Logstash实例3.1过滤实例3.2日志输入实例4Logstash摘要5Flume与Logstash的比较Logstash是一个具有实时管道功能的开源数据采集引擎。