开源日志分析系统麋鹿平台搭建部署

　　

<强> <强> <强>

,

,

syslog grepawkwcLinux

ELKELKElasticSearchLogstashKiabanahttps://www.elastic.co产品

,

Elasticsearchrestful Logstash

kibana kibana Logstash ElasticSearch Web


3

192.168.2.61ElasticsearchkibanaLogstash 192.168.2.83umember

192.168.2.93NginxLogstash

,

Centos 6.5 x64

,

ElasticSearch

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.0.tar。广州


Logstash https://artifacts.elastic.co/downloads/logstash/logstash-5.3.0.tar.gz

,

kibana https://artifacts.elastic.co/downloads/kibana/kibana-5.3.0-linux-x86_64.tar.gz

,

epel

rpm -ivh http://download.fedoraproject.org/pub/epel/6/x86_64/epel -释放- 6 - 8. - noarch.rpm

,

JDK http://120.52.72.24/download.oracle.com/c3pr90ntc0td/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

,

cd /usr/当地 　　tar  -zxf  jdk-8u131-linux-x64.tar.gz 　　ln  -sv  jdk1.8.0_131/, jdk

,

vi /etc/profile.d/jdk。sh

export  JAVA_HOME=/usr/地方/jdk 　　export 路径=$路径:/usr/地方/jdk/bin

~

chmod  755年,/etc/profile.d/jdk.sh 　　只/etc/profile.d jdk.sh

,

java  - version

开源日志分析系统麋鹿平台搭建部署


ulimit

vi/etc/security/limits.d/90-nproc.参看

 vi /etc/sysctl。参看

vm.max_map_count =, 262144

sysctl  p

麋鹿

(unilife@cdh4  ~),美元mkdir 麋鹿 　　[unilife@cdh4  ~),美元cd 麋鹿/

[unilife@cdh4 麋鹿],美元tar  -zxfelasticsearch-5.3.0.tar.gz

,

头 yum  install  npm  git , #安装node . js 　　git  clonegit://github.com/mobz/elasticsearch-head.git 　　cd  elasticsearch-head 　　npm 安装 　　npm  run  start ,,,或者,grunt  server 启动


http://192.168.2.61:9100

开源日志分析系统麋鹿平台搭建部署


ES

vi 配置/elasticsearch。yml

cluster.name:我的应用程序 　　node.name:节点1 　　path.data:/tmp/elasticsearch/数据 　　path.logs:/tmp/elasticsearch/日志 　　network.host=0.0.0.0 　　network.port=9200 　　http.cors.enabled:真实 　　http.cors.allow-origin:,“*”

,

ES

[unilife@cdh4 麋鹿],美元/home/unilife/麋鹿/elasticsearch-5.3.0/bin/elasticsearch ,

开源日志分析系统麋鹿平台搭建部署


9300 http9200

,

http://192.168.2.61:9200

开源日志分析系统麋鹿平台搭建部署


cluster_namenameES


Logstash

开源日志分析系统麋鹿平台搭建部署

InputOutputInputOutputJavaLog4jElasticSearchInputLog4jOutputElasticSearch

tar  -zxf  logstash-5.3.0.tar.gz 　　cd  logstash-5.3.0

,

vi 配置/log4j_to_es.conf

,

#,For  detail  structure  of 却;能够文件 　　#设置:https://www.elastic.co/guide/en/logstash/current/configuration-file-structure.html 　　input  { 　　#才能For  detail  config  For  log4j  as 输入, 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null 　　null

开源日志分析系统麋鹿平台搭建部署