Kafka配置内外网访问（解决kafka外网访问broker超时）

背景

一句话说明需求：

• 在公有云服务器中部署kafka，云内其它服务器/应用能成功访问2181和9092端口。
• 放行防火墙策略后，云外应用（kafkaTools-OffsetsExplorer）访问2181端口成功，但访问9092端口失败，提示timeout。

一句话说明解决：

• kafka应用配置支持区分内外网，修改server.propertites文件重启kafka，可实现云内、外服务器/客户端使用不同的端口（9092、9093）来实现访问broker。

多说几句：

• 通常多台公有云服务器（云内服务器）彼此间通信使用的是同一个VPC下的私网IP。
• 公有云服务器与云外客户端、服务器、用户的访问需要通过公网IP转发流量实现。
• kafka 外部服务器因为无法直接访问私网IP，所以会出现timeout报错。

错误截图：

参考文章

【Kafka网络配置：内网、外网、内外网分离】
【kafka 2.x版本配置SASL认证】（我还没写好）

实际操作

分为两种情况：

• 配置了SASL认证的kafka怎么开启内外网访问？
• 没有配置SASL，使用默认配置安装的kafka怎么开启内外网访问？

开启SASL认证的kafka

修改kafka配置文件

1. 查看仅配置了内网访问的配置文件：server.properties

[sysma@zcms-0001]$ cat server.properties-noPublicIP|grep -v ^$|grep -v ^#

broker.id=0
listeners=SASL_PLAINTEXT://172.x.x.47:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
sasl.enabled.mechanisms=SCRAM-SHA-256
allow.everyone.if.no.acl.found=false
super.users=User:admin
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka-logs-2.8.2
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

2. 查看同时配置了内网、外网访问的配置文件：server.properties

[sysma@zcms-0001 config]$ cat server.properties|grep -v ^$|grep -v ^#

broker.id=0
listeners=SASL_PLAINTEXT_PRIVATE://0.0.0.0:9093,SASL_PLAINTEXT_PUBLIC://0.0.0.0:9092
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
sasl.enabled.mechanisms=SCRAM-SHA-256
allow.everyone.if.no.acl.found=false
super.users=User:admin
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
advertised.listeners=SASL_PLAINTEXT_PRIVATE://172.x.x.47:9093,SASL_PLAINTEXT_PUBLIC://10.x.x.195:9092
listener.security.protocol.map=SASL_PLAINTEXT_PRIVATE:SASL_PLAINTEXT,SASL_PLAINTEXT_PUBLIC:SASL_PLAINTEXT
inter.broker.listener.name=SASL_PLAINTEXT_PRIVATE
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka-logs-2.8.2
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

3. 主要区别如下

修改一行：
listeners=SASL_PLAINTEXT://172.x.x.47:9092 #仅配置了内网暴露地址
改为
listeners=SASL_PLAINTEXT_PRIVATE://0.0.0.0:9093,SASL_PLAINTEXT_PUBLIC://0.0.0.0:9092 #逗号分隔，新增一个公网访问地址

注释一行：
security.inter.broker.protocol=SASL_PLAINTEXT #注释改行，否则会与inter.broker.listener.name配置字段冲突。

新增三行：
advertised.listeners=SASL_PLAINTEXT_PRIVATE://172.x.x.47:9093,SASL_PLAINTEXT_PUBLIC://10.x.x.195:9092
listener.security.protocol.map=SASL_PLAINTEXT_PRIVATE:SASL_PLAINTEXT,SASL_PLAINTEXT_PUBLIC:SASL_PLAINTEXT
inter.broker.listener.name=SASL_PLAINTEXT_PRIVATE

再次重启zookeeper和kafka应用，此时可在内网通过9093端口访问，可从外网通过9092端口访问。

没有配置SASL认证的kafka