【图文教程】在Docker中安装kafka以及遇到坑解决办法
- Docker
- 时间：2023-08-22 15:31
- 3340人已阅读
🔔🔔🔔好消息!好消息!🔔🔔🔔
有需要的朋友👉:联系凯哥 广告位招租中
docker 中安装kafka
在安装kafka之前需要先安装zookeeper，因为kafka 启动会将元数据保存在 zookeeper 中，zookeeper是一种分布式协调服务，可以再分布式系统中共享配置，协调锁资源，提供命名服务。
一、zookeeper 安装
1、在docker中拉取zookeeper 镜像
docker pull wurstmeister/zookeeper
2、运行zookeeper 服务
docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper
说明：
-v /etc/localtime:/etc/localtime 将本地时间映射到容器中
3、查看docker 下是否正常运行zookeeper 服务
docker ps
二、kafka 安装
1、拉取kafka镜像
docker pull wurstmeister/kafka
2、运行kafka
docker run -d --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.11.129:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.129:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
使用命令介绍，可以查看：《在Docker中安装kafka遇到问题记录》这篇文章。
需要特别注意的是：
-e KAFKA_BROKER_ID=0 在kafka集群中，每个kafka都有一个BROKER_ID来区分自己
-e KAFKA_ZOOKEEPER_CONNECT=192.168.11.129:2181/kafka 配置zookeeper管理kafka的路径
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.11.129:9092 把kafka的地址端口注册给zookeeper
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口
-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间
其中的ip是宿主机的ip,而不是docker中zookeeper的ip.
3、查看kafka是否运行正常
还是使用docker ps命令，查看。
可以看到kafka和zookeeper都启动了。
4、进入kafka容器
命令；
docker exec -it kafka /bin/bash
5、进入kafka的bin目录下：
cd /opt/kafka_2.13-2.8.1/bin
6、创建一个新主题（test-kafka)来存储事件
./kafka-topics.sh --create --topic test-kafka --bootstrap-server localhost:9092
显示新主题：test-kafka 的分区信息
./kafka-topics.sh --describe --topic test-kafka --bootstrap-server localhost:9092
测试消费消息：
开启两个cmd命令窗口，其中一个命名为消费者。然后分别执行下面几条命令：
docker exec -it kafka /bin/bash cd /opt/kafka_2.13-2.8.1/bin ./kafka-console-consumer.sh --topic test-kafka --from-beginning --bootstrap-server localhost:9092
测试生产消息：
重新开启一个CMD命令窗口，输入下面几个命令
docker exec -it kafka /bin/bash cd /opt/kafka_2.13-2.8.1/bin ./kafka-console-producer.sh --topic test-kafka --bootstrap-server localhost:9092
输入测试数据：
{"test":"kaigejava kafka producer","value":"kaigejava connect ok","time":"20230822145628"}观察消费者窗口。可以查看消费者窗口可以正常接收到数据。
至此，在docker中安装kafka已完成