卡夫卡虚拟机环境单机版部署

　　

卡夫卡基本介绍

　　
 <代码>概念
　　
　　一个分布式流处理平台,消息订阅平台,一般有三个特性
　　
    　　<李>可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 　　<李>可以储存流式的记录,并且有较好的容错性。 　　<李>可以在流式记录产生时就进行处理。 　　
　　

适用场景

　　
    　　<李>构造实时流数据管道,它可以在系统或应用之间可靠地获取数据。(相当于消息队列) 　　<李> 　　

    构建实时流式应用程序,对这些流数据进行转换或者影响。(就是流处理,通过卡夫卡流主题和主题之间内部进行变化)

    　　

    部署安装

    　　李 　　
　　

卡夫卡部署安装需要依赖于zoookper和java环境

　　

安装java环境

　　

yum安装java-1.8.0-openjdk * - y

　　

安装zoookper 　　

    　　<李>下载软件包李 　　
　　wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

　　

解压缩到指定位置

　　
    　　<李>修改配置文件 　　
　　

cp zoo_sample。cfg zoo.cfg

　　

配置文件如下,创建所需要的目录

　　

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/地方/zookeeper_data
clientPort=2181

　　
    　　<李>制作标准服务启动李 　　
　　猫/etc/systemd/system/zookeeper.service

　　(单位)


描述=zookeeper.service后
=network.target
[服务]
Type=分支
ExecStart=/usr/地方/管理员/bin/zkServer。sh开始
ExecStop=/usr/地方/管理员/bin/zkServer。sh停止
ExecReload=/usr/地方/管理员/bin/zkServer。sh重启
(安装)
WantedBy=multi-user.target

　　

systemctl开始动物园管理员 　　

安装卡夫卡 　　

curl https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.1.0/kafka_2.12-2.1.0.tgz瞧 　　

解压缩到指定位置

　　
    　　<李> 　　

    修改配置文件

    　　

    server.properties 　　李 　　

　　

broker.id=1
本地主机端口=9092
host.name=
log.dirs=/usr/地方/kafka_logs
zookeeper.connect=localhost: 2181

　　
 <代码> zookeeper.properties
　　

dataDir=/usr/地方/kafaka_data
clientPort=2181
maxClientCnxns=0
host.name=localhost

　　
 <代码> producer.properties
　　

metadata.broker.list=localhost: 9092
bootstrap.servers=localhost: 9092
compression.type=没有

　　
 <代码> consumer.properties
　　

bootstrap.servers=localhost: 9092
group.id=test-consumer-group
zookeeper.connect=localhost: 2181

　　
 <代码> *制作标准服务启动
　　猫/etc/systemd/system/kafka.service

　　(单位)


描述=Apache卡夫卡服务器(代理)后
=network.target
=syslog.target后后
=zookeeper.target

　　

[服务]
Type=分支
用户=根
组=根
ExecStart=/usr/地方/卡夫卡/bin/kafka-server-start。sh守护进程/usr/local/kafka/config/server.properties
ExecStop=/usr/地方/卡夫卡/bin/kafka-server-stop.sh

　　

ExecReload=美元/bin/杀死玫瑰MAINPID
KillMode=没有

　　

重启=失败
RestartSec=5 s

　　(安装)


WantedBy=multi-user.target

　　

systemctl开始卡夫卡 　　

    　　<李>测试李 　　
　　

创建话题
/bin/kafka-topics话题。sh——创建管理员localhost: 2181 - replication因子设置分区1——1——主题kafka01
创建主题“kafka01"。

　　

bin/kafka-topics。sh——列表管理员localhost: 2181

　　

启动消息生产者并发送消息

　　

bin/kafka-console-producer。sh——券商名单上localhost: 9092——主题kafka01

　　

启动消息消费者并收到消息

　　

bin/kafka-console-consumer。sh -饲养员localhost: 2181——主题kafka01从头

　　

查看主题列表详细信息

　　

bin/kafka-topics。sh -饲养员localhost: 2181——列表

　　

bin/kafka-topics。sh -饲养员localhost: 2181——主题kafka01描述

　　

主题:kafka01 PartitionCount: 1 ReplicationFactor: 1款:
主题:kafka01分区:0领袖:1副本:1 Isr: 1

　　

拓展分区

　　

bin/kafka-topics。sh -饲养员localhost: 2181——改变话题kafka01——分区2

　　

bin/kafka-topics。sh -饲养员localhost: 2181——主题kafka01描述
主题:kafka01 PartitionCount: 2 ReplicationFactor: 1款:
主题:kafka01分区:0领袖:1副本:1 Isr: 1

卡夫卡虚拟机环境单机版部署