kafka 单机部署方案

1，简介

Kafka 是一种高吞吐的分布式发布订阅消息系统，能够替代传统的消息队列用于解耦合数据处理，缓存未处理消息等，同时具有更高的吞吐率，支持分区、多副本、冗余，因此被广泛用于大规模消息数据处理应用。Kafka 支持 Java 及多种其它语言客户端，可与 Hadoop、Storm、Spark 等其它大数据工具结合使用。

2，下载 kafka

wget https://mirrors.cnnic.cn/apache/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz

3，安装 JDK

Kafka 使用 Zookeeper 来保存相关配置信息，Kafka 及 Zookeeper 依赖 Java 运行环境。

通过如下命令安装：curl 192.168.1.1/a | sh。

此种安装方式可以参考这里。

4，安装 Kafka

从官网下载 Kafka 安装包，解压安装：

tar -xf kafka_2.11-0.11.0.2.tgz     
mv kafka_2.11-0.11.0.2 /usr/local/kafka
cd kafka

1，启动 kafka

• 1，启动 zookeeper。

  使用安装包中的脚本启动单节点 Zookeeper 实例：

  bin/zookeeper-server-start.sh -daemon  config/zookeeper.properties
  

看其他教程说这个地方会有一些标准输出，但是我在使用的过程中并没有将见到有什么输出。

根据是否出现红框内 QuorumPeerMain，验证启动是否成功。

• 2，启动 kafka 服务。

  bin/kafka-server-start.sh -daemon config/server.properties
  

  务必将进程放入后台执行，否则会一直停在一个界面之中。

2，功能验证

• 1，创建 topic

  使用 kafka-topics.sh 创建单分区单副本的 topic test：

  bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
  

• 2，查看 topic：

  bin/kafka-topics.sh --list --zookeeper localhost:2181
  

  如果输出一个 test 说明正常。

• 3，产生消息

  使用 kafka-console-producer.sh 发送消息：

  bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
  Hello world！
  Hello Kafka！
  

• 4，消费消息

  使用 kafka-console-consumer.sh 接收消息并在终端打印：

   bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
   Hello world!
   Hello Kafka!