Centos7 安装kafka集群

最新推荐文章于 2025-03-09 10:42:43 发布

原创最新推荐文章于 2025-03-09 10:42:43 发布 · 383 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #linux #zookeeper #java

服务器专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍了如何在三台服务器上搭建Kafka集群，包括软件版本、系统环境配置、Zookeeper与Kafka的安装步骤、配置文件编辑、服务启动、Topic创建及消息生产和消费过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

软件版本
kafka_2.12-2.1.1

官网下载：
https://kafka.apache.org/downloads

网盘下载：
链接：https://pan.baidu.com/s/1idSsZNJs4FvQtIev0MmqyQ
提取码：orb6

系统环境
26.47.136.14 | 26.47.136.15 | 26.47.136.16

安装目录 /home

1.安装zookeeper

https://www.jianshu.com/p/6cc82a3ba084

2.安装kafka

首先在 26.47.136.14上解压kafka

tar -zxvf kafka_2.12-2.1.1.tar.gz

创建日志文件 kafka-logs

cd kafka_2.12-2.1.1
mkdir kafka-logs

编辑kafka启动配置文件

vim /conf/server.properties

# 配置如下内容
broker.id=1
listeners = PLAINTEXT://26.47.136.14:9092
log.dirs=/home/kafka_2.12-2.1.1/kafka-logs
zookeeper.connect=26.47.136.14:2181,26.47.136.15:2181,26.47.136.16:2181

将kafka_2.12-2.1.1拷贝到其他两台机器

scp -r /home/kafka_2.12-2.1.1 root@26.47.136.15:/home
scp -r /home/kafka_2.12-2.1.1 root@26.47.136.16:/home

修改配置

# 26.47.136.15
broker.id=2
listeners = PLAINTEXT://26.47.136.15:9092

# 26.47.136.16
broker.id=3
listeners = PLAINTEXT://26.47.136.16:9092

在三台服务器上分别启动kafka服务

./kafka-server-start.sh -daemon ../config/server.properties

创建topic，随意指定节点

./kafka-topics.sh --create --zookeeper 26.47.136.15:2181 --replication-factor 1 --partitions 1 --topic test

向topic发送消息，随意指定节点

./kafka-console-producer.sh  --borker-list  26.47.136.16:9092 --topic test

在多个节点上分别消费 test

./kafka-console-consumer.sh --bootstrap-server 26.47.136.14:9092 --topic test --from-beginning
./kafka-console-consumer.sh --bootstrap-server 26.47.136.15:9092 --topic test --from-beginning
./kafka-console-consumer.sh --bootstrap-server 26.47.136.16:9092 --topic test --from-beginning