基于麋鹿搭建微服务日志中心

基于麋鹿搭建微服务日志中心

麋鹿简介

　　

什么是麋鹿?通俗来讲,麋鹿是由Elasticsearch, Logstash, Kibana三个开源软件组成的一个组合体,这三个软件当中,每个软件用于完成不同的功能,麋鹿又称ELKstack,官网https://www.elastic.co/,麋鹿主要优点有如下几个:
1,处理方式灵活:Elasticsearch是实时全文索引,具有强大的搜索功能
2,配置相对简单:Elasticsearch全部使用JSON接口,Logstash使用模块配置,Kibana的配置文件部分更简单
3,检索性能高:基于优秀的设计,虽然每次查询都是实时,但是也可以达到百亿级数据的查询秒级响应
4,集群线性扩展:Elasticsearch和Logstash都可以灵活线性扩展
5,前端操作绚丽:Kibana的前端设计比较绚丽,而且操作简单

　　 　　

Elasticsearch

　　

　　

elasticsearch是一个高度可扩展全文搜索和分析引擎,基于Apache Lucene构建,能对大容量的数据进行接近实时的存储,搜索和分析操作,可以处理大规模日志数据,比如Nginx, Tomcat,系统日志等功能。

　　 　　

Logstash

　　

　　

数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤,分析,丰富,统一格式等操作,然后存储到用户指定的位置;支持普通日志,自定义json格式的日志解析。

　　 　　

Kibana

　　

　　

数据分析和可视化平台。通常与Elasticsearch配合使用,对其中数据进行搜索,分析和以统计图表的方式展示。

　　 　　

filebeat

　　

　　

首先filebeat不属于麋鹿中的组件是为麋鹿服务的可选组件之一。因为Logstash有一个致命的问题是它的性能以及资源消耗(默认的堆大小是1 gb)。尽管它的性能在近几年已经有很大提升,与它的替代者们相比还是要慢很多的。作为胜家族的一员,filebeat是一个轻量级的日志传输工具,它的存在正弥补了Logstash的缺点:filebeat作为一个轻量级的日志传输工具可以将日志推送到中心Logstash.Filebeat只是一个二进制文件没有任何依赖。它占用资源极少,尽管它还十分年轻,正式因为它简单,所以几乎没有什么可以出错的地方,所以它的可靠性还是很高的。它也为我们提供了很多可以调节的点,例如:它以何种方式搜索新的文件,以及当文件有一段时间没有发生变化时,何时选择关闭文件句柄。

　　 　　

开始部署

　　

系统环境检查h5> 1,因为elasticsearch服务运行需要java环境,所有首先要检查服务器中的java环境。推荐jdk版本至少为1.8以上

　　

 <代码> [root@iZbp136dr1iwajle0r9j83Z软]# java - version
　　java版本“1.8.0_221”
　　Java (TM) SE运行时环境(构建1.8.0_221-b11)
　　Java HotSpot (TM) 64位服务器虚拟机(25.221构建b11、混合模式) 

　　

2,创建用户,因为elasticsearch是不能再根账户下运行所以重新创建一个用户

　　

 <代码> [root@iZbp136dr1iwajle0r9j83Z ~] # useradd麋鹿 

　　

3,创建文件夹

　　

 <代码> [root@iZbp136dr1iwajle0r9j83Z ~] # su -麋鹿#切换到麋鹿用户
　　[elk@iZbp136dr1iwajle0r9j83Z ~] mkdir软#用美元来存储原始压缩包文件
　　[elk@iZbp136dr1iwajle0r9j83Z ~] mkdir应用#用美元来存放部署的文件 

　　

下载麋鹿文件

　　

下载过程就自行到相关的官网上下载把,注意下载版本最好是能够对应起来的否则会出现一些莫名其妙的问题。

　　

 <代码> [root@iZbp136dr1iwajle0r9j83Z软]# - l
　　总计708484
　　-rw-rw-r - 1应用程序290094012 1月2十四31 elasticsearch-7.5.1-linux-x86_64.tar.gz
　　-rw-rw-r - 1应用程序24086235 1月2 14:26 filebeat-7.5.1-x86_64.rpm
　　-rw-rw-r - 1应用程序238481011 1月2 13:28 kibana-7.5.1-linux-x86_64.tar.gz
　　-rw-rw-r - 1应用程序172809530 1月2 13:27 logstash-7.5.1.zip
　　 

　　

这是我下载的文件,从文件属性上还是属于应用程序用户的。为了方便统一管理现在将这些文件全部转给麋鹿用户

　　

 <代码> [root@iZbp136dr1iwajle0r9j83Z软]#乔恩- r麋鹿:麋鹿*
　　(root@iZbp136dr1iwajle0r9j83Z软)# - l
　　总计708484
　　-rw-rw-r——1麋鹿麋鹿290094012 1月2十四31 elasticsearch-7.5.1-linux-x86_64.tar.gz
　　-rw-rw-r——1麋鹿麋鹿24086235 1月2 14:26 filebeat-7.5.1-x86_64.rpm
　　-rw-rw-r——1麋鹿麋鹿238481011 1月2 13:28 kibana-7.5.1-linux-x86_64.tar.gz
　　-rw-rw-r——1麋鹿麋鹿172809530 1月2 13:27 logstash-7.5.1.zip  

　　

将文件解压到应用程序文件夹中

基于麋鹿搭建微服务日志中心