这篇文章主要介绍“卡夫卡——2.11集群的搭建步骤”,在日常操作中,相信很多人在卡夫卡- 2.11集群的搭建步骤问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答“卡夫卡——2.11集群的搭建步骤”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!
制作人:消息生产者,向卡夫卡代理发消息的客户端
消费者:消息消费者,向卡夫卡代理取消息的客户端
主题:发布到卡夫卡集群消息的一个类别
代理:一台卡夫卡服务器就是一个代理,一个集群由多个代理组成,一个代理可以容纳多个主题
1。下载安装管理员(必须先安装饲养员和jdk)
[root@node1 ~] # wget http://mirror.bit.edu.cn/apache/zookeeper/stable/zookeeper-3.4.13.tar.gz
[root@node1 ~] # tar xvf zookeeper-3.4.13.tar。广州- c/opt/
[root@node1 ~] # cd/opt/zookeeper-3.4.13/conf/
[root@node1 conf] # vim zoo.cfg
tickTime=2000
dataDir=/opt/zookeeper-3.4.13/数据
clientPort=2181
initLimit=5
syncLimit=2
server.1=node1:2888:3888
server.2=node2:2888:3888
服务器。3=node3:2888:3888
[root@node1 conf] # mkdir/opt/zookeeper-3.4.13/数据
[root@node1 conf] # cd/opt/zookeeper-3.4.13/data ,,,——myid必须要在数据目录下面,否则会报错
[root@node1数据]#猫myid 1
[root@node1 zookeeper-3.4.13] # cd . .
[root@node1选择]# scp - r zookeeper-3.4.13 node2:/opt/
[root@node1选择]# scp - r zookeeper-3.4.13 node3:/opt/
2。在node2修改myid文件
[root@node2选择]#猫/opt/zookeeper-3.4.13/数据/myid 2
[root@node2选择]#,
3。在node3修改myid文件
[root@node3 ~] #猫/opt/zookeeper-3.4.13/数据/myid
3
root@node3 ~ # zkServer。sh start ,,,——每个节点都要启动动物园管理员服务
管理员JMX默认启用使用配置
:/opt/zookeeper-3.4.13/bin/. ./conf/动物园。cfg
管理员开始……开始
[root@node3选择]# zkCli.sh ,,——使用客户端登陆
3。下载安装卡夫卡(三个节点一样)
[root@node1 ~] # wget http://mirror.bit.edu.cn/apache/kafka/2.2.0/kafka_2.11-2.2.0.tgz
[root@node1 ~] # tar xvf kafka_2.11-2.2.0。tgz - c/opt/
[root@node1 ~] # cd/opt/kafka_2.11-2.2.0/
[root@node1 kafka_2.11-2.2.0] # cd配置/
[root@node1配置]# vim server.properties
broker.id=0,,,,——每个id不一样
zookeeper.connect=172.16.8.23:2181 172.16.8.24:2181, 172.16.8.178:2181 ,,,饲养员集群IP地址
[root@node1配置]# cd/opt/
[root@node1选择]# scp - r kafka_2.11-2.2.0/node2:/opt/
[root@node1选择]# scp - r kafka_2.11-2.2.0/node3:/opt/
[root@node1选择]# cd kafka_2.11-2.2.0/bin/
(root@node1本)#。/kafka-server-start。sh . ./config/server.properties ,,卡夫卡,——三台都要后台启动服务
4。查看卡夫卡服务是否启动正常
[root@node1本]# jps
30851卡夫卡3605 HMaster
12728 QuorumPeerMain 12712 DFSZKFailoverController
31656 Jps
3929 15707 JournalNode DataNode
32188 NameNode 14335 ResourceManager
[root@node1本]# netstat -antulp | grep 30851
tcp6 ,,,0,,0:::9092,,,,,,,,,:::*,,,,,,,,,,LISTEN ,,30851/java ,,,,,
tcp6 ,,,0,,0:::37161,,,,,,,,:::*,,,,,,,,,,LISTEN ,,30851/java ,,,,,
tcp6 ,,,0,,0 172.16.8.23:40754 ,,,172.16.8.178:9092 ,,,建立了30851/java ,,,,,
tcp6 ,,,0,,0 172.16.8.23:9092 ,,,172.16.8.23:39704 ,,,建立了30851/java ,,,,,
tcp6 ,,,0,,0 172.16.8.23:45480 ,,,172.16.8.24:9092 ,,,建立了30851/java ,,,,,
tcp6 ,,,0,,0 172.16.8.23:45294 ,,,172.16.8.178:2181 ,,,建立了30851/java ,,,,,
tcp6 ,,,0,,0 172.16.8.23:39704 ,,,172.16.8.23:9092 ,,,建立了30851/java ,,,,,
[root@node1本]#,
5。使用命令接口
(root@node1本)#。/kafka-topics。sh——创建管理员node1:2181——主题桐城的replication因子3,分区3,——创建主题
创建主题桐城。
(root@node1本)#。/kafka-topics。sh——列表管理员node1:2181 ,——查看主题
桐城
(root@node1本)#。/kafka-topics。sh——删除管理员node1:2181——主题tongcheng ,null
