Docker容器搭建Kafka集群的教程_F11 - 专业站长和开发者的学习网站

本站首页收藏本站

广告位联系

APP正在开发中...

返回顶部

分享到

Docker容器搭建Kafka集群的教程

DNS服务器 来源：互联网作者：秩名发布时间：2022-03-20 18:22:13 人浏览

摘要

一、Kafka集群的搭建 1.拉取相关镜像 1 2 docker pull wurstmeister/kafka docker pull zookeeper 2.运行zookeeper 1 docker run -d --name zookeeper -p 2181:2181 -t zookeeper 3.运行kafka Kafka0： 1 docker run -d --name kafka0 -p 9

一、Kafka集群的搭建

1.拉取相关镜像

1 2	docker pull wurstmeister/kafka docker pull zookeeper

2.运行zookeeper

1	docker run -d --name zookeeper -p 2181:2181 -t zookeeper

3.运行kafka

Kafka0：

1	docker run -d --name kafka0 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.16.129:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.16.129:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

Kafka1：

1	docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.16.129:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.16.129:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

Kafka2：

1	docker run -d --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=192.168.16.129:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.16.129:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka

参数说明：

-e KAFKA_BROKER_ID=0 在kafka集群中，每个kafka都有一个BROKER_ID来区分自己
-e KAFKA_ZOOKEEPER_CONNECT=10.20.8.50:2181/kafka 配置zookeeper管理kafka的路径10.20.8.50:2181/kafka
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.20.8.50:9092 把kafka的地址端口注册给zookeeper，如果是远程访问要改成外网IP。
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口：这个不能改
-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间

启动3个Kafka节点

4.设置topic

进入kafka0

1	docker exec -it kafka0 /bin/bash

进入bin目录

1	cd /opt/kafka_2.13-2.8.1/bin

创建topic

1	kafka-topics.sh --create --zookeeper 192.168.16.129:2181 --replication-factor 3 --partitions 5 --topic TestTopic

查看topic

1	kafka-topics.sh --describe --zookeeper 192.168.16.129:2181 --topic TestTopic

Kafka的topic所有分区会分散在不同Broker上，所以该topic的5个分区会被分散到3个Broker上，其中有两个Broker得到两个分区，另一个Broker只有1个分区，如图所示：

集群节点说明：

Topic: TestTopic PartitionCount: 5 ReplicationFactor:3代表TestTopic有5个分区，3个副本节点；
Topic: 代表主题名称
Leader代表主题节点号，
Replicas代表他的副本节点有Broker.id = 2、0、1（包括Leader Replica和Follower Replica，且不管是否存活），
Isr表示存活并且同步Leader节点的副本有Broker.id = 2、0、1

5.进行生产者和消费者测试

分别在Broker0上运行一个生产者，Broker1、2上分别运行一个消费者：

kafka-console-producer.sh --broker-list 192.168.16.129:9092 --topic TestTopic

kafka-console-consumer.sh --bootstrap-server 192.168.16.129:9093 --topic TestTopic --from-beginning

kafka-console-consumer.sh --bootstrap-server 192.168.16.129:9094 --topic TestTopic --from-beginning

您可能感兴趣的文章 :

原文链接 : https://blog.csdn.net/aa2528877987/article/details/123589123

Tag : kafka(8)

k8s集群部署时etcd容器不停重启问题以及处理介绍

问题现象在安装部署Kubernetes 1.26版本时，通过kubeadm初始化集群后，发现执行kubectl命令报以下错误： The connection to the server localhost:8080 was
docker容器中文乱码的解决教程

docker部署java开发web项目。nohup显示打印日志出现中文乱码，中文显示为问号？？？。环境服务器系统：centos7、docker部署项目具体操作如下
云原生Docker创建并进入mysql容器的全过程

本文主要讲解的是创建mysql的容器，大家都知道，在外面进入mysql都很容易，mysql -u用户名 -p密码就可以，但是是容器的mysql就没那么好进入了
云原生Docker容器自定义DNS解析

描述在特定的情况下，或者在网络策略特殊定义下，需要自定义dns进行域名访问，在宿主机上配置了域名解析，对于docker容器无效。对于局
半小时实现基于ChatGPT搭建微信机器人

ChatGPT刷屏了相信大家最近被ChatGPT刷屏了，其实在差不多一个月前就火过一次，不会那会好像只在程序员的圈子里面火起来了，并没有被大
docker search命令的具体使用

一、docker search 命令选项命令选项描述 filter , -f 根据给定的条件进行过滤 format 自定义打印格式 limit 显示搜索结果，默认值25 no-trunc 回显结
docker-cli源码窥探(推荐)

docker-cli源码窥探最近一直在使用docker，看了一些书和教程，但是一直停在使用的层面，但总觉得不够深入，故决定看看源码，学习优秀的项
kvm 透传显卡至win10虚拟机的方法

环境 1 2 3 4 5 6 7 8 9 10 11 已安装nvidia 显卡驱动操作系统:CentOS Linux release 7.9.2009 (Core) 内核版本:Linux 5.4.135-1.el7.elrepo.x86_64 显卡型号:rtx 6000
Docker Desktop常见的几种启动失败问题解决方法

报错1，Error：Failed to restart 点Quit 然后出现提示WSL 2 is not installed 点击 Use Hyper-V 打开启用或关闭windows功能确保适用于Linux的Windows子系统和
使用Kubernetes自定义资源(CRD)的介绍

什么是CRD CRD的全称为CustomResourceDefinitions，即自定义资源。k8s拥有一些内置的资源，比如说Pod，Deployment，ReplicaSet等等，而CRD则提供了一种方