Strimzi PrometheusGrafana监控实战Kafka延迟告警与Grafana仪表盘完整配置【免费下载链接】strimzi-kafka-operatorApache Kafka® running on Kubernetes项目地址: https://gitcode.com/GitHub_Trending/st/strimzi-kafka-operator本文带你用Strimzi开源项目为运行在 Kubernetes 上的 Apache Kafka 集群搭建一套完整的监控方案通过Prometheus采集指标、配置Kafka 消费延迟告警并导入官方Grafana 仪表盘帮助你快速发现延迟、副本缺失、磁盘告急等生产隐患。一、Strimzi 的 Kafka 监控体系如何运作Strimzi 采用「三层采集 统一展示」的思路几乎不需要额外开发就能让 Kafka 可观测JMX Prometheus Exporter挂载在 Kafka Broker 上把 JMX 指标请求处理、网络、副本管理、KRaft 状态等翻译成 Prometheus 格式Kafka ExporterkafkaExporter由 Strimzi 自动部署负责 Topic 分区偏移量、Consumer Group 消费延迟lag等业务级指标Grafana Prometheus AlertmanagerPrometheus 抓取指标并触发告警规则Grafana 负责可视化Alertmanager 负责把告警推送到 Slack 等渠道。 官方在 examples/metrics/ 目录下提供了全部现成清单包括 JMX 规则、PodMonitor、告警规则与 Grafana 仪表盘开箱即用。二、三步开启 Kafka 指标采集1. 为 Broker 配置 JMX Prometheus Exporter只需在 Kafka 自定义资源CR中声明metricsConfig指向一份 JMX Exporter 配置 ConfigMapStrimzi 就会自动把 Exporter 注入每个 Broker Pod。官方示例见 examples/metrics/kafka-metrics.yaml其中metricsConfig.type: jmxPrometheusExporter即声明了采集方式配套的kafka-metrics-config.yml定义了 Broker 指标转换规则请求速率、延迟分位数、副本状态等。2. 启用 kafkaExporter 采集消费延迟同一份 YAML 中还启用了kafkaExporterkafkaExporter: topicRegex: .* groupRegex: .*它会让集群暴露kafka_topic_partition_current_offset、kafka_consumergroup_lag等关键指标——这是后面做 Kafka 延迟告警的数据来源。3. 让 Prometheus 自动发现指标端点Prometheus Operator 环境下用 PodMonitor 声明抓取规则选择所有带strimzi.io/kind为 Kafka / KafkaConnect / KafkaMirrorMaker2 的 Pod抓取其tcp-prometheus端口的/metrics路径。Kafka Connect、Bridge 等组件也有对应的 PodMonitor 文件均在 pod-monitors 目录 中。三、Kafka 延迟告警完整配置消费延迟Consumer Lag是指消费者尚未处理的消息积压量积压持续增长往往意味着消费者性能不足或故障TooLargeConsumerGroupLag延迟告警核心规则官方告警规则文件 prometheus-kafka-exporter-topic-rules-group.yaml 中定义了最关键的延迟告警当某个消费组在指定 Topic 分区上的kafka_consumergroup_lag超过1000 条消息时触发warning级别告警并在描述中直接给出消费组名、Topic 和分区号。你可以按需修改阈值例如核心业务链路调低到 500日志类主题调高到 10000。不止延迟一组值得启用的生产告警prometheus-kafka-rules.yaml 中还内置了多条 Broker 级告警建议一并启用告警名称触发条件严重级别含义KafkaRunningOutOfSpacePVC 可用空间 15%warning磁盘即将写满UnderReplicatedPartitions副本不足分区 0warning数据冗余度受损AbnormalControllerState活跃 Controller 数 ≠ 1warning控制面异常OfflinePartitions无 Leader 分区 0warning分区不可读写ScrapeProblem抓取失败超过 3 分钟major监控自身失效NoMessageForTooLong10 分钟无新消息warning上游生产者可能挂了⚠️ 提示ScrapeProblem这类「监控自己」的告警很容易被忽略但它能防止你在指标断流几小时后才发现——此时 Grafana 面板是一片空白而线上已经出问题。告警路由Alertmanager 推送到 Slackalert-manager-config.yaml 是一个 Secret 清单将告警路由到 Slack 频道#strimzi-alerts并开启send_resolved: true——告警恢复时也会通知方便值班同学确认闭环。接入企业微信、钉钉、邮件只需替换receivers配置即可。四、Grafana 仪表盘快速安装一键部署 Grafana示例 grafana-install/grafana.yaml 包含 Deployment Service 两个资源将 Grafana 部署到集群内并暴露 3000 端口。生产环境建议替换为 Helm 或 OLM 方式部署并配置 BasicAuth 保护访问。导入官方仪表盘导入 Prometheus 数据源后把 grafana-dashboards 目录 下的 JSON 文件逐个导入官方已按组件分好strimzi-kafka.jsonBroker 总览吞吐、延迟分位数、副本状态、磁盘strimzi-kafka-exporter.jsonTopic 偏移量与消费延迟专题面板strimzi-kafka-connect.jsonConnect 连接器健康与任务延迟strimzi-mirrormaker-2.jsonMM2 镜像复制延迟strimzi-operators.jsonStrimzi 运维组件自身监控看延迟该盯哪几个面板Consumer Group Lag按消费组聚合的延迟曲线持续增长即需要扩容消费者或排查卡死任务Broker Request Handler Idle Percent接近 0 说明请求处理线程打满延迟会随之升高Under Replicated Partitions结合 lag 一起看可区分「消费者慢」与「Broker 故障导致重平衡」。五、常见问题速查Q1指标里有kafka_前缀也有kafka_server_前缀怎么区分kafka_server_*来自 JMX ExporterBroker 内部机制kafka_topic_partition_*、kafka_consumergroup_lag来自 kafkaExporterTopic 业务层面。做延迟告警用后者做容量/性能告警用前者。Q2阈值告警频繁误报怎么办官方规则多为固定阈值示例建议上线后根据业务 P95 延迟基线调整for持续时间与阈值对非关键 Topic 可用topicRegex缩小采集范围降低基数。Q3想看更细的指标Strimzi 还支持 strimzi-metrics-reporter 方案通过 Kafka Connect 将指标写入专门的 Kafka Topic适合需要长期保留、跨集群汇聚指标的场景。六、相关模块与文件路径监控示例总入口examples/metrics/JMX 指标配置示例examples/metrics/kafka-metrics.yaml告警规则目录examples/metrics/prometheus-install/prometheus-rules/Grafana 仪表盘目录examples/metrics/grafana-dashboards/官方监控文档Adoc 模块documentation/modules/metrics/按照本文配置完成后你就拥有了一套覆盖Kafka 延迟告警、Broker 健康检查、Grafana 可视化的完整 Strimzi 监控体系可以平稳支撑生产环境的日常运维了 【免费下载链接】strimzi-kafka-operatorApache Kafka® running on Kubernetes项目地址: https://gitcode.com/GitHub_Trending/st/strimzi-kafka-operator创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考