1. 为什么选择CentOS7部署Kafka集群在当今大数据处理领域Kafka已经成为消息队列和流处理的事实标准。我选择在CentOS7上部署Kafka集群主要基于以下几个考虑首先CentOS7作为企业级Linux发行版具有极高的稳定性和长期支持周期直到2024年6月这对于生产环境至关重要。我在实际部署中发现CentOS7的SELinux和firewalld配置虽然初期会增加一些复杂度但一旦正确配置后系统安全性会显著提升。其次Kafka本身是用Scala和Java编写的而CentOS7默认的OpenJDK 1.8与Kafka的兼容性非常好。我测试过从Kafka 2.8到3.4.1的多个版本在CentOS7上都能稳定运行。特别是对于需要长期运行的生产环境这种稳定性是首要考虑因素。注意虽然CentOS7即将结束生命周期但对于已经熟悉其生态的企业仍可通过第三方源如Red Hat的Extended Life Cycle Support获得后续支持。2. 环境准备与前置条件2.1 服务器规划建议一个典型的Kafka集群至少需要3个节点broker才能保证高可用。根据我的经验生产环境建议采用以下配置节点角色CPU内存磁盘网络Kafka Broker4核16GBSSD/NVMe, 500GB10GbpsZookeeper节点2核8GBSSD, 100GB1Gbps提示Zookeeper虽然在新版Kafka中逐渐被KRaft模式取代但目前2023年大多数生产环境仍在使用Zookeeper模式。2.2 系统环境配置在所有节点上执行以下基础配置# 关闭SELinux生产环境建议保持开启并正确配置策略 sudo setenforce 0 sudo sed -i s/^SELINUXenforcing/SELINUXpermissive/ /etc/selinux/config # 关闭防火墙或开放必要端口 sudo systemctl stop firewalld sudo systemctl disable firewalld # 如果必须保留防火墙开放以下端口 # sudo firewall-cmd --permanent --add-port2181/tcp # Zookeeper # sudo firewall-cmd --permanent --add-port2888/tcp # Zookeeper集群通信 # sudo firewall-cmd --permanent --add-port3888/tcp # Zookeeper选举 # sudo firewall-cmd --permanent --add-port9092/tcp # Kafka # sudo firewall-cmd --reload # 优化系统参数 echo vm.swappiness 1 | sudo tee -a /etc/sysctl.conf echo net.ipv4.tcp_max_syn_backlog 4096 | sudo tee -a /etc/sysctl.conf echo net.core.somaxconn 4096 | sudo tee -a /etc/sysctl.conf sudo sysctl -p2.3 Java环境安装Kafka需要Java 8或11运行环境。我推荐使用OpenJDKsudo yum install -y java-1.8.0-openjdk-devel # 验证安装 java -version # 应输出类似openjdk version 1.8.0_3623. Zookeeper集群部署虽然Kafka 3.0支持KRaft模式无需Zookeeper但大多数生产环境仍在使用Zookeeper模式。以下是3节点Zookeeper集群部署步骤3.1 下载安装在所有Zookeeper节点执行wget https://archive.apache.org/dist/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz tar -xzf apache-zookeeper-3.7.1-bin.tar.gz sudo mv apache-zookeeper-3.7.1-bin /opt/zookeeper sudo mkdir -p /data/zookeeper3.2 配置文件创建/opt/zookeeper/conf/zoo.cfgtickTime2000 initLimit10 syncLimit5 dataDir/data/zookeeper clientPort2181 maxClientCnxns60 autopurge.snapRetainCount3 autopurge.purgeInterval1 # 集群配置所有节点相同 server.1zk1.example.com:2888:3888 server.2zk2.example.com:2888:3888 server.3zk3.example.com:2888:3888在每个节点上创建myid文件内容分别为1,2,3# 在zk1节点 echo 1 | sudo tee /data/zookeeper/myid # 在zk2节点 echo 2 | sudo tee /data/zookeeper/myid # 在zk3节点 echo 3 | sudo tee /data/zookeeper/myid3.3 启动与验证sudo /opt/zookeeper/bin/zkServer.sh start # 查看状态 sudo /opt/zookeeper/bin/zkServer.sh status # 应显示Mode: leader或Mode: follower4. Kafka集群部署4.1 下载安装在所有Kafka节点执行wget https://downloads.apache.org/kafka/3.4.1/kafka_2.13-3.4.1.tgz tar -xzf kafka_2.13-3.4.1.tgz sudo mv kafka_2.13-3.4.1 /opt/kafka sudo mkdir -p /data/kafka4.2 配置文件编辑/opt/kafka/config/server.properties关键配置如下# 每个broker唯一ID broker.id1 # 在第二个节点改为2第三个改为3 # 监听地址 listenersPLAINTEXT://:9092 advertised.listenersPLAINTEXT://当前节点IP:9092 # 数据目录 log.dirs/data/kafka # Zookeeper连接 zookeeper.connectzk1.example.com:2181,zk2.example.com:2181,zk3.example.com:2181 # 其他重要参数 num.network.threads8 num.io.threads16 socket.send.buffer.bytes102400 socket.receive.buffer.bytes102400 socket.request.max.bytes104857600 num.partitions3 num.recovery.threads.per.data.dir4 offsets.topic.replication.factor3 transaction.state.log.replication.factor3 transaction.state.log.min.isr2 log.retention.hours168 log.segment.bytes1073741824 log.retention.check.interval.ms300000 zookeeper.connection.timeout.ms18000 group.initial.rebalance.delay.ms04.3 启动与验证sudo /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties # 验证集群状态 /opt/kafka/bin/zookeeper-shell.sh zk1.example.com:2181 ls /brokers/ids # 应显示所有broker ID如[1,2,3] # 创建测试topic /opt/kafka/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 \ --replication-factor 3 --partitions 3 --topic test-topic # 查看topic详情 /opt/kafka/bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic test-topic5. 生产环境优化与监控5.1 性能调优根据我的经验以下参数对性能影响最大# 调整server.properties message.max.bytes10485760 # 10MB最大消息 replica.fetch.max.bytes10485760 log.flush.interval.messages10000 log.flush.interval.ms1000 log.retention.bytes10737418240 # 10GB保留大小5.2 监控方案推荐以下监控组合JMX监控启用Kafka的JMX端口export JMX_PORT9999然后使用JConsole或VisualVM连接Prometheus Grafana使用kafka-exporter采集指标配置Grafana的Kafka仪表盘ID 7589Kafka Manager或Kafka Eagle提供Web管理界面5.3 常见问题解决问题1消息延迟高检查网络延迟ping和iperf测试节点间带宽增加num.io.threads建议为核心数×2检查磁盘IOiostat -x 1问题2Zookeeper连接超时检查zookeeper.connection.timeout.ms设置验证网络连通性和防火墙规则增加Zookeeper的maxClientCnxns问题3磁盘空间不足设置合理的log.retention.hours和log.retention.bytes考虑使用多磁盘路径log.dirs/data1/kafka,/data2/kafka6. 集群维护与扩展6.1 日常维护命令# 查看所有topic /opt/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092 # 查看消费者组 /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list # 删除topic需要设置delete.topic.enabletrue /opt/kafka/bin/kafka-topics.sh --delete --topic test-topic --bootstrap-server localhost:9092 # 平衡leader分布 /opt/kafka/bin/kafka-leader-election.sh --bootstrap-server localhost:9092 --election-type PREFERRED --all-topic-partitions6.2 集群扩展增加broker步骤在新节点上安装Kafka分配唯一的broker.id大于现有ID使用相同的zookeeper.connect配置启动新broker重新分配partition/opt/kafka/bin/kafka-reassign-partitions.sh --bootstrap-server localhost:9092 \ --generate --topics-to-move-json-file topics.json --broker-list 1,2,3,46.3 升级注意事项从我的经验看Kafka升级需要特别注意先升级Zookeeper如果需要逐个滚动重启broker检查协议版本/opt/kafka/bin/kafka-configs.sh --bootstrap-server localhost:9092 \ --entity-type brokers --describe --all监控InterBrokerProtocolVersion和LogMessageFormatVersion我在实际运维中发现Kafka集群的稳定性很大程度上取决于磁盘性能和网络质量。建议至少每月执行一次完整的故障转移测试模拟单个broker甚至整个机柜故障的情况验证集群的恢复能力。