简单搭建Apache卡夫卡分布式消息系统

早先都是用的基于JMS规范的消息系统,像ActiveMQ, IBM MQSeries等。随着互联网的发展,大约是要适应当今大数据,高可用性、高效的需求,于是诞生了,Apache Kafka 这一新时代的分布式消息系统。Apache卡夫卡也是发布-订阅式的消息系统,用Scala语言写的,它最初由LinedIn开发并贡献到Apache基金会。

卡夫卡的集群实质是依赖于管理员的集群来协同管理,所以这里可以参照之前的,动物园管理员快速搭建与体验,来搭建一个动物园管理员集群(其实这是一个伪集群,实际产品中应该把饲养员集群分布在不同的机器上)。

本文主要是参考官方的,卡夫卡Quickstart 来快速体验卡夫卡消息系统、下载的卡夫卡自带了动物园管理员,默认只启动了一个,动物园管理员节点。如需管理员集群可以不依赖于卡夫卡自带的动物园管理员而单独搭建。

下面开始演示建立一个最简单的卡夫卡系统,阅读全文在祝辞


简单搭建Apache卡夫卡分布式消息系统