程序员劝退师的博客

前言在之前一篇文章中关于Logstash安装使用已经演示过读写的功能了，Logstash不单是对数据进行读取和输出的功能，另一个强大的功能就是对数据的清洗，也就是俗称的过滤，那么此篇文章就是介绍Logstash使用Grok来进行对数据的清洗过滤！Grok介绍grok是用正则表达式来捕获关键数据的，grok是一个十分强大的logstash filter插件，他可以通过正则解析任意文本，将非结构化日志数据弄成结构化和方便车查询的结构，他是目前logstash中解析非结构化日志数据最好的方式。Grok的语

前言在前篇文章简单介绍ELK和相关的组件ELK架构介绍，在写这篇文章之后本来是不打算搭建ELK的，过了几天吧，公司测试小哥说要看项目日志，而我们后端开发是按模块开发的，所以日志不集中，也没有统一部署到测试服务器上，那么正好找个借口帮公司搭建ELK日志收集系统！ELK搭建1.ELK架构介绍2.ElasticSearch搭建3.Kibana搭建4.ElasticSearch-head搭建5.Logstash搭建6.Kafka搭建7.Kafka-manager搭建8.Filebeat搭建搭建

Filebeat介绍隶属于Beats,轻量级数据收集引擎。基于原先Logstash-fowarder的源码改造出来。换句话说: Filebeat就是新版的Logstash-fowarder,也会是ELK Stack在Agent的第一选择,目前Beats包含四种工具:1.Packetbeat (搜集网络流量数据)2.Metricbeat (搜集系统、进程和文件系统级别的CPU和内存使用情况等数据。通过从操作系统和服务收集指标，帮助您监控服务器及其托管的服务。)3.Frilebeat (搜集文件数据)

Logstash简介主要是用来日志的搜集、分析、过滤日志的工具。用于管理日志和事件的工具,你可以用它去收集日志、"转换日志、解析日志并将他们作为数据提供给其它模块调用,例如搜索、存储等。基于java语言开发安装Logstash也是为了搭建ELK，而且Logstash也被ElasticSeatch整合到一起了，所以下载的话也是在ElasticSearch官网下载ES官网下载Logstash，网络慢的情况耐心等待，直到ES官网脚本，界面完全渲染完成这里版本如果是要搭建ELK的话要和ElasticSea

1、核心组成ELK是一个应用套件（应用套件就是多款软件组合）,由Elasticsearch, Logstash和Kibana三部分组件组成,简称ELK;它是一套开源免费、功能强大的日志分析管理系统。ELK可以将我们的系统日志、网站日志、应用系统日志等各种日志进行收集、过滤、清洗,然后进行集中存放并可用于实时检索、分析。这三款软件都是开源软件,通常是配合使用,而且又先后归于Elastic.co公司名下,故又被简称为ELK Stack。也就是能够收集多台服务器产生的日志数据的聚合套件！下图是ELK Stack的