Logstash
简介
Logstash 可以收集日志数据并对数据进行处理后传递给 ES,但是现阶段通常使用它做数据分析和过滤工作,采集工作交由 filebeat 完成。
因为使用它采集日志的话需要在所有需要收集日志的服务器上安装 Logstash,由于 Logstash 偏重量级,现在通常不会这样做,而是交给各种 beat 去完成这个工作,然后最后交给 Logstash 处理后再传递给 ES。
Logstash 可以收集日志数据并对数据进行处理后传递给 ES,但是现阶段通常使用它做数据分析和过滤工作,采集工作交由 filebeat 完成。
因为使用它采集日志的话需要在所有需要收集日志的服务器上安装 Logstash,由于 Logstash 偏重量级,现在通常不会这样做,而是交给各种 beat 去完成这个工作,然后最后交给 Logstash 处理后再传递给 ES。
首先 filebeat 是 Beats 中的一员。 Beats 在是一个轻量级日志采集器,其实 Beats 家族有 6 个成员,早期的 ELK 架构中使用 Logstash 收集、解析日志,但是 Logstash 对内存、cpu、io 等资源消耗比较高。相比 Logstash,Beats 所占系统的 CPU 和内存几乎可以忽略不计。 目前 Beats 包含六种工具: