麋鹿日志分析系统(实战!)

　　

简介

　　

日志服务器

　　
　　

提高安全性
集中存放日志
缺陷:对日志的分析困难

　　 　　

麋鹿日志分析系统(实战!)

　　

麋鹿日志分析系统

　　
　　

Elasticsearch:存储,索引池
Logstash:日志收集器
Kibana:数据可视化

　　 　　

日志处理步骤

　　
　　

1,将日志进行集中化管理
2,将日志格式化(Logstash)并输出到Elasticsearch
3,对格式化后的数据进行索引和存储(Elasticsearch)
4,前端数据的展示(Kibana)

　　 　　

Elasticsearch的概述

　　
　　

提供了一个分布式多用户能力的全文搜索引擎

　　 　　

Elasticsearch的概念

　　
　　

接近实时
集群
节点
索引:索引(库)——在类型(表)——在文档(记录)
分片和副本

　　 　　

Logstash介绍

　　
　　

一款强大的数据处理工具,可以实现数据传输,格式处理,格式化输出
数据输入,数据加工(如过滤,改写等)以及数据输出

　　 　　

LogStash主要组件

　　
　　

托运人
索引器代理

搜索和存储


Web界面 　　 　　

Kibana介绍

　　
　　

一个针对Elasticsearch的开源分析及可视化平台
搜索,查看存储在Elasticsearch索引中的数据
通过各种图表进行高级数据分析及展示

　　 　　

Kibana主要功能

　　
　　

Elasticsearch无缝之集成
整合数据,复杂数据分析
让更多团队成员受益
接口灵活,分享更容易
配置简单,可视化多数据源
简单数据导出

　　 　　

实验环境

　　

麋鹿日志分析系统(实战!)

　　

1在node1 node2上安装elasticsearch(操作相同,只演示一台)

　　
 <代码> (root@node1 ~) # # #的/etc/hosts vim配置解析名
　　192.168.52.133 node1
　　192.168.52.134 node2
　　(root@node1 ~) # systemctl firewalld停止。服务# #关闭防火墙
　　(root@node1 ~) # setenforce 0 # #关闭增强型安全功能
　　[root@node1 ~] java - version # # #查看是否支持java
　　root@node1 ~ #山。cifs//192.168.100.100/工具/mnt/工具/# #挂载
　　密码root@//192.168.100.100/工具:
　　(root@node1 ~) # cd/mnt/工具/麋鹿
　　(root@node1麋鹿)# rpm -ivh elasticsearch-5.5.0。rpm # #安装
　　警告:elasticsearch-5.5.0。转:头V4 RSA/SHA512签名,密钥ID d88e42b4: NOKEY
　　准备中……# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # (100%)
　　创建elasticsearch集团……好吧
　　创建elasticsearch用户……好吧
　　正在升级/安装……
　　1:elasticsearch-0:5.5.0-1 # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # (100%)
　　# # #不开始alt="麋鹿日志分析系统(实战!)"> 

　　
查看node2节点信息
 麋鹿日志分析系统(实战!) 

　　
 2,在浏览器上检查健康和状态

　　
 node1健康检查
 麋鹿日志分析系统(实战!) 
 node2健康检查
 麋鹿日志分析系统(实战!)”<br> <br/> node1状态/> <img src= 
 node2状态
 麋鹿日志分析系统(实战!) 

　　
 3在node1 node2上安装节点组件依赖包(操作相同,只演示一个)

　　
 <代码> [root@node1 elasticsearch] # yum安装gcc gcc-c + +使- y # #安装编译工具
　　[root@node1 elasticsearch] # cd/mnt/工具/麋鹿
　　# tar xf node-v8.2.1.tar root@node1麋鹿。广州- c/opt/# #解压插件
　　(root@node1麋鹿)# cd/opt/node-v8.2.1/./configure (root@node1 node-v8.2.1) # # #配置
　　[root@node1 node-v8.2.1] #做,,使安装# #编译安装 

　　在node1 
 4日,node2上安装phantomjs前端框架

　　
 <代码> [root@node1 node-v8.2.1] # cd/mnt/工具/麋鹿
　　# tar xf phantomjs-2.1.1-linux-x86_64.tar root@node1麋鹿。bz2 - c/usr/local/src/获取
　　# #解压到/usr/地方/src下
　　(root@node1麋鹿)# cd/usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/(root@node1本)# cp phantomjs/usr/local/bin/# #编译系统识别
麋鹿日志分析系统(实战!)