CentOS 8部署麋鹿日志分析平台 - 行业资讯 - 肥雀云

需求

　　
1。开发人员不能登录线上服务器查看日志
2。各个系统都有日志,日志分散难以查找
3。日志数据量大,查找慢,数据不够实时
　　　　
解决办法:部署麋鹿平台
　　
麋鹿介绍
　　
　　
麋鹿是三个开源软件的缩写,分别表示:Elasticsearch, Logstash, Kibana,它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(代理),FileBeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash。
　　　　
麋鹿架构图
　　

　　
Elasticsearch简介:
　　
　　
<强> Elasticsearch 是个开源分布式搜索引擎,提供搜集,分析,存储数据三大功能。
特点:分布式,零配置,自动发现,索引自动分片,索引副本机制,宁静的风格接口,多数据源,自动搜索负载等。
　　　　
部署Elasticsearch
　　
1。配置百胜源
　　
　　
rpm——进口https://packages.elastic。有限公司/GPG-KEY-elasticsearch #导入密钥
vim/etc/yum.repos.d/elasticsearch。回购#配置百胜源
　　　　
 <代码> [elasticsearch - 2. x]
　　name=Elasticsearch库2。x包
　　baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
　　gpgcheck=1
　　gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
　　使=1  
　　
2。安装elasticsearch
　　
　　
yum安装elasticsearch - y #安装elasticsearch
　　　　
3。配置Elasticsearch
　　
　　
vim/etc/elasticsearch/elasticsearch.yml
　　　　
 <代码> cluster.name: yltx # 17行集群名称
　　node.name: node1 # 23行节点名称
　　路径。数据:/数据/es-data # 33行工作目录
　　路径。日志:/var/log/elasticsearch # 37行日志目录
　　引导。memory_lock:真# 43行防止交换分交换区
　　网络。主持人:0.0.0.0 # 54行监听网络
　　http。端口:9200 # 58行端口 
　　
　　
mkdir - p/数据/es-data
乔恩- r elasticsearch: elasticsearch/数据/es-data/
　　　　
4。内存解锁和文件限制
　　
<强>生产环境中必须要修改(注意)
　　
　　vim/etc/security/limits.conf

　　　　
 <代码>末尾插入
　　elasticsearch软memlock无限
　　elasticsearch硬memlock无限
　　*软nofile 65535
　　* 65535(硬nofile  
　　
　　
systemctl elasticsearch开始。服务#启动服务
netstat -ntap | grep 9200
ps ef | grep elasticsearch
　　　　

　　
网页测试:http://192.168.0.102:9200
　　

　　
安装Elasticsearch——头插件
　　
　　
/usr/share/elasticsearch/bin/插件安装mobz/elasticsearch-head
　　　　

　　
网页访问:
　　
http://192.168.0.102:9200 _plugin/头/
　　

　　
Logstash介绍:
　　
　　
Logstash主要是用来日志的搜集,分析,过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,客户端安装在需要收集日志的主机上,服务器端负责将收到的各节点日志进行过滤,修改等操作在一并发往elasticsearch上去。
Logstash收集日志基本流程:输入——祝辞编解码器,在过滤器——祝辞编解码器,在输出
1。输入:从哪里收集日志。
2。过滤器:发出去前进行过滤
3。输出:输出至Elasticsearch或复述,消息队列
4。编解码器:输出至前台,方便边实践边测试
5。数据量不大日志按照月来进行收集
　　　　
部署Logstash
　　
1。配置百胜源
　　
　　
vim/etc/yum.repos.d/logstash.repo
　　　　
 <代码> (logstash - 2.1)
　　name=Logstash库为2.1。x包
　　baseurl=http://packages.elastic.co/logstash/2.1/centos
　　gpgcheck=1
　　gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
　　使=1 CentOS 8部署麋鹿日志分析平台

			