在Docker环境搭建Kafka server

使用的镜像：wurstmeister/zookeeper、wurstmeister/kafka

准备工作

• 安装docker-compose

• 在任意路径（本例中为/data/docker/kafka-server）下创建docker-compose.yml
  样例：docker-compose.yml

version: '2'services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka
    ports:
      - "9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 192.168.100.129
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
  nginx:
    image: nginx
    ports:
      - "9094:9094"
    links:
      - kafka
    volumes:
      - /data/docker/kafka-server/nginx.conf:/etc/nginx/nginx.conf

注意nginx的数据卷配置，指向下一步的nginx配置文件

在相同路径下放置一个nginx配置文件，并在其中加入以下配置：

stream {
    upstream kafka {
        server kafkaserver_kafka_1:9092;
        server kafkaserver_kafka_2:9092;
        server kafkaserver_kafka_3:9092;
    }
 
    server {
        listen 9094;
        proxy_pass kafka;
    }
}

其中upstream的内容根据实际要创建的集群数量和名称来定，并非不变的，目前也没有什么办法可以绕过这个配置

创建和启动容器

进入docker-compose.yml所在路径，执行：

nohup docker-compose up --scale kafka=3 &

这里scale表示集群中实例的数量，若不使用此参数则为单实例，本例中设置为kafka=3表示集群包含3个kafka实例

执行成功后即可使用docker ps看到自动创建了nginx、zookeeper和kafka容器，确认运行状态是否正常。

本例中可以看到创建了3个kafka实例，对外映射端口号分别为9032、9033、9034，访问其中任意一个端口都是对集群的访问，没有差别。但每次重启容器，这几个端口都会变化，因此不推荐使用。

同时因为使用了nginx，并配置了对三个kafka实例的反向代理，对外映射了唯一一个固定端口9094，因此实际使用推荐使用这个9094端口，即使容器重启或重建，这个端口也不会变化。便于应用访问。

普通的docker 搭建

docker run -it -d --restart=always -p 2181:2181  -p 2888:2888 -p 3888:3888 --name=zookeeper \
    -v /home/zookeeper/logs:/logs \
    -v /home/zookeeper/conf:/conf \
    -v /home/zookeeper/data:/data \
    -d zookeeper:latest

docker run -it -d --restart=always -p 9092:9092 --name kafka \
    -e KAFKA_BROKER_ID=0 \
    -e KAFKA_ZOOKEEPER_CONNECT=192.168.80.133:2181 \
    -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.80.133:9092 \
    -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
    -v /home/kafka/config:/opt/kafka/config \
    -v /home/kafka/logs:/kafka \
    -d wurstmeister/kafka
    
docker run -d \
     -p 9000:9000  \
     -e ZK_HOSTS="192.168.80.133:2181" \
     hlebalbau/kafka-manager:stable

因为使用了挂载，所以需要把映射对应的路径中的配置文件先从docker容器中copy出来
然后再进行挂载，否则直接执行，docker是无法启动成功的

日常维护

关闭集群可以使用docker-compose stop，也可以使用docker原生命令挨个关闭容器。

启动集群仍然使用docker-compose up，也可以使用docker原生命令挨个启动容器。需要注意由于kafka依赖zookeeper才能运行，所以要先启动zookeeper

docker-compose其他的命令也可以使用，只要配置文件正确，就可以保证整个服务正常运行

注意事项

本例中配置了3个kafka实例组成的集群，理论上来说，其中任意一个节点宕机应不影响整个集群的运行。

然而实际上，由于使用了nginx的固定配置做负载均衡，再加上kafka的客户端的连接管理实现方式问题，导致任意一个节点宕机都可能使“部分”生产者或消费者无法连接，具体哪些不好用是随机的。

因此当前的集群搭建方案仍不是最终方案，将继续学习文档，可能利用docker-swarm实现更合理的集群。