EFK教程——ElasticSearch角色分离

  

 EFK教程——ElasticSearch角色分离

  

<强>通过将elasticsearch的数据,摄取,主人角色进行分离,搭建起高性能+高可用的ES架构

  

<强>“发颠的小狼”强,欢迎转载与投稿

  <人力资源/>   

目录

  

?用途
?架构
?步骤说明
?elasticsearch-data部署
?elasticsearch-ingest部署
?elasticsearch-master部署

  <人力资源/>   

用途

  

在第一篇《EFK教程——快速入门指南》中,阐述了EFK的安装部署,其中ES的架构为三节点,即主人,摄取、数据角色同时部署在三台服务器上。

  

在本文中,将进行角色分离部署,并且每个角色分别部署三节点,在实现性能最大化的同时保障高可用。

  

?elasticsearch的主节点:用于调度,采用普通性能服务器来部署
?elasticsearch的摄取节点:用于数据预处理,采用性能好的服务器来部署
?elasticsearch节的数据点:用于数据落地存储,采用存储性能好的服务器来部署

  
 <代码>若不知道去哪找《EFK教程——快速入门指南》,可在主流搜索引擎里搜索:
  小慢哥EFK教程快速入门指南
  或者
  小慢哥EFK教程基于多节点ES的EFK安装部署配置 
  <人力资源/>   

架构

  

 EFK教程——ElasticSearch角色分离

  

服务器配置

  

 EFK教程——ElasticSearch角色分离

  

<强>注意:此处的架构是之前的文章《EFK教程——快速入门指南》的拓展,因此请先按照《EFK教程——快速入门指南》完成部署

  <人力资源/>   

步骤说明

  

1 ? ?部署3台数据节点,加入原集群
2 ? ?部署3台摄取节点,加入原集群
3 ? ?将原有的es索引迁移到数据节点
4 ? ?将原有的es节点改造成主节点

  <人力资源/>   

elasticsearch-data部署

  

之前已完成了基础的elasticsearch架构,现需要新增三台存储节点加入集群,同时关闭大师和摄取功能

  

<强> elasticsearch-data安装强:3台均执行相同的安装步骤

  
 <代码>焦油-zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz
  mv elasticsearch-7.3.2/opt/elasticsearch
  useradd elasticsearch - d/opt/elasticsearch - s/sbin/nologin
  mkdir - p/opt/日志/elasticsearch
  乔恩elasticsearch。elasticsearch/opt/elasticsearch - r
  乔恩elasticsearch。elasticsearch/opt/日志/elasticsearch - r
  #数据盘需要elasticsearch写权限
  乔恩elasticsearch。elasticsearch/数据/SAS - r
  
  #限制一个进程可以拥有的VMA(虚拟内存区域)的数量要超过262144年,不然elasticsearch会报最大虚拟内存区域vm。max_map_count[65535]太低,增加到至少[262144]
  回声”vm。在祝辞max_map_count=655350”;/etc/sysctl.conf
  sysctl - p  
  

<强> elasticsearch-data配置

  

?192.168.1.51/opt/elasticsearch/config/elasticsearch.yml

  
 <代码> cluster.name:我的应用程序
  node.name: 192.168.1.51
  #数据盘位置,如果有多个硬盘位置,用”、“隔开
  路径。数据://SAS数据
  路径。日志:/opt/日志/elasticsearch
  网络。主持人:192.168.1.51
  
  发现。seed_hosts:(“192.168.1.31”、“192.168.1.32”,“192.168.1.33”)
  集群。initial_master_nodes:(“192.168.1.31”、“192.168.1.32”,“192.168.1.33”)
  http.cors。启用:真
  http.cors。allow-origin:“*”
  
  #关闭主功能
  节点。师父:假
  #关闭摄取功能
  节点。摄入:假
  #开启数据功能
  节点。数据:真正的 
  

?192.168.1.52/opt/elasticsearch/config/elasticsearch.yml

  
 <代码> cluster.name:我的应用程序
  node.name: 192.168.1.52
  #数据盘位置,如果有多个硬盘位置,用”、“隔开
  路径。数据://SAS数据
  路径。日志:/opt/日志/elasticsearch
  网络。主持人:192.168.1.52
  
  发现。seed_hosts:(“192.168.1.31”、“192.168.1.32”,“192.168.1.33”)
  集群。initial_master_nodes:(“192.168.1.31”、“192.168.1.32”,“192.168.1.33”)
  http.cors。启用:真
  http.cors。allow-origin:“*”
  
  #关闭主功能
  节点。师父:假
  #关闭摄取功能
  节点。摄入:假
  #开启数据功能
  节点。数据:真正的

EFK教程——ElasticSearch角色分离