Kafka安装与配置

介绍

官网：http://kafka.apache.org/

Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。

Apache Kafka与传统消息系统相比，有以下不同：

• 它被设计为一个分布式系统，易于向外扩展；

• 它同时为发布和订阅提供高吞吐量；

• 它支持多订阅者，当失败时能自动平衡消费者；

• 它将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。

安装kafka

下载kafaka

下载地址：https://kafka.apache.org/downloads

tar -xzf kafka_2.9.1-0.8.2.0.tgz
cd kafka_2.9.1-0.8.2.0

启动服务

Kafka使用Zookeeper，需使用安装包中的脚本启动单节点 Zookeeper 实例：

bin/zookeeper-server-start.sh config/zookeeper.properties

开启Kafka服务：

bin/kafka-server-start.sh config/server.properties

创建建topic

创建一个名为“test”的topic，它只包含一个分区，只有一个副本：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看topic列表：

bin/kafka-topics.sh --list --zookeeper localhost:2181
#结果：
'''
test
'''

产生消息

使用kafka-console-producer.sh发送消息：

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
> This is a message
> This is another message

消费消息

作者使用的是0.8.2.0版本，使用kafka-console-consumer.sh接收消息并在终端打印：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
> This is a message
> This is another message

若使用0.9以上版本，在终端输入(没有实测，但根据网上资料而得)：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

---

参考

• zhisheng | Kafka 安装及快速入门
• 官方文档 | Quickstart