name: airflow-dag-patterns
description: “Build production Apache Airflow DAGs with best practices for operators, sensors, testing, and deployment. Use when creating data pipelines, orchestrating workflows, or scheduling batch jobs.”
risk: safe
source: community
date_added: “2026-02-27”
Apache Airflow DAG 模式
适用于 Apache Airflow 的生产就绪模式,包括 DAG 设计、操作符、传感器、测试和部署策略。
使用此技能时
- 使用 Airflow 创建数据管道编排
- 设计DAG结构和依赖关系
- 实现自定义操作符和传感器
- 本地测试 Airflow DAG
- 在生产环境中设置 Airflow
- 调试失败的 DAG 运行
使用此技能时请勿
- 你只需要一个简单的定时任务或 shell 脚本
- Airflow 不是工具栈的一部分
- 该任务与工作流编排无关
说明
- 识别数据来源、时间表和依赖关系。
- 设计具有明确所有权和重试机制的幂等任务。
- 实现具有可观测性和告警钩子的DAG。
- 在预发布环境中进行验证并记录操作手册。
有关详细的模式、清单和模板,请参阅resources/implementation-playbook.md。
安全
- 未经批准,避免更改生产DAG计划。
- 仔细测试回填和重试以防止数据重复。
资源
resources/implementation-playbook.md,查看详细的模式、清单和模板。
限制
- 仅当任务明确符合上述描述的范围时,才使用此技能。
- 不要将输出视为环境特定验证、测试或专家审查的替代品。
- 如果缺少所需的输入、权限、安全界限或成功标准,请停下来并要求澄清。