麋鹿(ElasticSearch + Logstash + Kibana) +复述,日志收集分析系统

日志主要包括系统日志,应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息,检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。

通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。

集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep, awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询,排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

开源实时日志分析麋鹿平台能够完美的解决我们上述的问题,麋鹿由ElasticSearch, Logstash和Kiabana三个开源工具组成。官方网站:https://www.elastic.co

<强> Elasticsearch  是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,宁静的风格接口,多数据源,自动搜索负载等。

<强> Logstash  是一个完全开源的工具,他可以对你的日志进行收集,分析,并将其存储供以后使用(如,搜索)

<强> kibana  强也是一个开源和免费的工具,他Kibana可以为Logstash和ElasticSearch提供的日志分析友好Web界的面,可以帮助您汇总,分析和搜索重要数据日志。

<强>开源实时日志分析麋鹿平台部署流程:

1, <强>安装Logstash依赖包JDK

, Logstash的运行依赖于Java运行环境,Logstash 1.5以上版本不低于Java 7推荐使用最新版本的Java。由于我们只是运行Java程序,而不是开发,下载JRE即可。首先,在甲骨文官方下载新版JRE,下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jre8 -下载- 2133155. - html