https://www.elastic.co/products
l ,, Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,,restful 风格接口,多数据源,自动搜索负载等。
l ,, Logstash 是一个完全开源的工具,他可以对你的日志进行收集,分析,并将其存储供以后使用(如,搜索).
l ,, kibana 也是一个开源和免费的工具,他,kibana 可以为,Logstash 和,Elasticsearch 提供的日志分析友好的,Web 界面,可以帮助您汇总,分析和搜索重要数据日志。
工作原理如下如所示:
开源实时日志分析麋鹿平台部署流程:
(, 1)安装,Logstash 依赖包,JDK
Logstash 的运行依赖于,Java 运行环境,,Logstash 1.5,以上版本不低于,java 7,推荐使用最新版本的,Java 。由于我们只是运行,Java 程序,而不是开发,下载,JRE 即可。首先,在,Oracle 官方下载新版,JRE ,下载地址:,http://www.oracle.com/technetwork/java/javase/downloads/jre8 -下载- 2133155. - html
# wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz #, mkdir /usr/地方/java
#,tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/地方/java/ #, tail 3, ~/.bash_profileexport JAVA_HOME=/usr/地方/java/jdk1.8.0_45export 路径=$路径:$ JAVA_HOME/binexportCLASSPATH=: $ JAVA_HOME/lib/tools.jar: $ JAVA_HOME/lib/dt。jar: $类路径 #, java - version
java version “1.8.0_45”Java (TM), SE Runtime Environment (build 1.8.0_45-b14)
Java 热点(TM), 64 - bit Server VM (build 25.45 -b02 mixed 模式) (, 2)安装,Logstash
下载并安装,Logstash ,安装,Logstash 只需将它解压的对应目录即可,例如:,/usr/local 下:
#, https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz, tar zxf logstash-1.5.2.tar.gz -C /usr/地方/ #,/usr/地方/logstash-1.5.2/bin/Logstash -e “input {{,}, stdin }, output {{}, stdout }”
Logstash startup 完成
Hello 世界! 2015 - 07 - 15 - t03:28:56.938z noc.vfast.com Hello 世界! , 3,)安装,Elasticsearch
下载,Elasticsearch 后,解压到对应的目录就完成,Elasticsearch 的安装。
#, tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/地方/ 启动,Elasticsearch
#,/usr/地方/elasticsearch-1.6.0/bin/Elasticsearch 如果使用远程连接的,Linux 的方式并想后台运行,Elasticsearch 执行如下命令:
#, nohup /usr/地方/elasticsearch-1.6.0/bin/Elasticsearch 祝辞nohup , 确认,Elasticsearch 的,9200年,端口已监听,说明,Elasticsearch 已成功运行
#, netstat -anp | grep : 9200 tcp ,,,,,,, 0,,,,,, 0,::: 9200,,,,,,,,,,,,,,,,,,,,,::: *,,,,,,,,,,,,,,,,,,,,,,,, LISTEN ,,,,, 3362/java #, cat logstash-es-simple.confinput {{,}, stdin }
output {
,,elasticsearch {host =祝辞,“localhost”,}
,,stdout {,编解码器=祝辞rubydebug }
} 执行如下命令
#,/usr/地方/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf…,…
Logstash startup 完成
hello logstash
{,,,,,“消息”,=祝辞,“hello logstash”,,,,,,,“@version=祝辞," 1 ",,,,,“@timestamp=祝辞,“2015 - 07 - 15 t18:12:00.450z”,,,,,,,,,,“主人”,=祝辞," noc.vfast.com "} #,curl http://localhost: 9200/_search ?漂亮的返回结果
{“了”:才能,58岁,“timed_out”,:,假,,“_shards”,:,{,,“总”,:,,,,,“成功”,:,,,,,“失败”,:,0
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
null
