本文共 1454 字,大约阅读时间需要 4 分钟。
作者:半兽人
链接:https://www.orchome.com/1903很多人都因为配置 kafka 外网转发而困扰,我这里统一讲一下原理和原因。
场景假设
比如你有一个 kafka 集群,在阿里云上,该集群有 2 个 broker,A 和 B。kafka 集群:
A 内网:172.10.0.2 外网:10.0.21.1
B 内网:172.10.0.1 外网:10.0.21.2 server.properties 配置config/server-1.properties:
broker.id=1 listeners=PLAINTEXT://172.10.0.1:9092config/server-2.properties:
broker.id=2 listeners=PLAINTEXT://172.10.0.2:9092 复制 配置内网地址即可,就可以通过外网访问了(10.0.21.1:9092 和 10.0.21.2:9092 可以通,但是如果用 kafka 客户端连接会报超时) 你想通过你的电脑来访问 kafka 集群,也就想访问 10.0.21.1:9092 和 10.0.21.2:9092:注意,我额外加一层场景,转发,复杂一点,但是原理相同。
路由转发,比如:
11.10.21.1 -> 10.0.21.1
11.10.21.2 -> 10.0.21.2 复制 11.10.21.x 为又加了一层转发 ip 测试 这时,如果你通过 11.10.21.1:9092 和 11.10.21.2 端口都是通的,但是访问 kafka 发送或消费消息时,会报网络超时,这是为什么呢?因为 kafka 客户端是主动发现集群地址的,当你通过 11.10.21.1:9092 确实是连接到 kafka 集群了,kafka 集群返回给你的 ip 列表是你 listeners 配置的,也就是
172.10.0.1:9092
172.10.0.2:9092 复制 你的 ip 转发和端口都没有用,这就是所有转发外网等等的本质原因。解决
最简单的方式是客户端通过域名映射的方式。修改 kafka 集群服务端的 server.properties 配置
config/server-1.properties:
broker.id=1 listeners=PLAINTEXT://kafka-1:9092config/server-2.properties:
broker.id=2 listeners=PLAINTEXT://kafka2:9092 复制 kafka 集群的服务端,配置 hostscat /etc/hosts
172.10.0.1 kafka-1 172.10.0.2 kafka-2 复制 本机客户端,配置 hostscat /etc/hosts
11.10.21.1 kafka-1 11.10.21.2 kafka-2 复制 客户端访问 kafka 集群时,获取的是 kafka-1:9092 和 kafka-2:9092,通过客户端配置的 hosts 映射,都转成了对应的外网的 ip,因此就可以访问了。注意:端口要一致,hosts 映射只转 ip。
端口也映射,未实验正确性:
ip 一样端口不一样就写成 172.10.0.1 kafka-1 kafka2 11.10.21.1 kafka-1 kafka-2 就好了。转载地址:http://iytli.baihongyu.com/