1. 人员和流程1.1. 在数据架构的复杂世界中虽然技术和工具可能成为焦点但人员和流程构成了其核心和灵魂1.2. 数据架构的革新不仅需要技术重组还需要组织文化的深刻转变1.3. 改变数据的管理、处理和评估方式意味着重新调整团队对数据的认识和交互方式1.3.1. 意味着要挑战既定规范并接受新方法1.4. 转变从来都不仅仅是技术性的而是要从人本身做起1.5. 人性因素的核心是明确人员任务分工1.5.1. 明确了人员任务分工并确保每个团队成员深知自身的责任同时拥有履行职责的资源是创造完美架构的坚实基石1.6. 数据转型的成功和解决方案的失败都可以追溯到人员管理和流程设计1.7. 虽然工具和技术在不断发展但决定能否借助它们取得成功的是人员和流程1.8. 人和技术不是非此即彼的选择1.8.1. 需要和谐融合相互提升2. 团队组织2.1. 构建数据架构需要一个或多个具有多样化技能和分工的团队2.1.1. 在较小的公司中一个人可能承担多个分工2.1.2. 在较大的公司中几个人可能承担同一个分工2.2. 数据架构师2.2.1. 负责数据架构MDW、数据经纬或数据湖仓的高级结构设计并决定项目应使用哪些技术和数据治理政策2.3. 数据工程师2.3.1. 负责构建、测试和维护数据架构2.3.2. 编写脚本从各种来源提取、加载和转换数据(ELT)到数据解决方案中并与数据架构师密切合作实施设计的架构2.4. 数据管理员2.4.1. 负责数据质量和治理2.4.2. 定义并实施数据使用规则和标准监督数据清理管理数据访问权限并与用户合作解决任何数据质量或访问问题2.5. 数据库管理员2.5.1. DBA2.5.2. 负责数据系统的运行、维护和性能2.5.3. 实施备份和恢复计划优化查询以提高性能并保持系统平稳运行2.6. 数据分析师2.6.1. 负责对大型数据集收集、处理并进行统计描述和诊断性分析2.6.2. 识别模式和趋势将这些复杂的结果转化为可理解的结论并与参与方沟通2.6.3. 创建全面的报告和商业智能仪表盘来跟踪业务指标2.7. 数据科学家2.7.1. 通过使用高级统计技术、预测建模和机器学习从数据中提取有价值的信息并解决复杂问题2.7.2. 设计和实施ML模型执行预测和规范分析进行A/B测试并挖掘数据2.7.3. 提供基于数据驱动的结论和建议以影响战略和运营决策2.8. 业务分析师2.8.1. 在数据团队和业务用户之间进行沟通并帮助确定数据架构的业务需求然后将其转化为技术需求2.8.2. 验证数据分析师和科学家的结论并将之与业务用户进行沟通2.9. 项目经理2.9.1. Scrum主管2.9.2. 协调团队的工作确保他们按计划实现目标并解决各种阻碍2.9.3. 向参与方传达项目状态并应对各种风险2.10. 数据隐私官员2.10.1. 确保遵守数据隐私法规与数据管理员合作并制定数据使用政策以及应对各种数据隐私事件2.10.2. 在某些行业或地区法规要求设立这一职位2.11. 数据治理经理2.11.1. 确保组织部门数据的可得性、可用性、完整性和安全性并创建和执行数据管理政策和程序以确保所有业务部门都能最佳的运行2.12. 数据质量经理2.12.1. 监督数据的完整性、一致性和准确性包括实施数据质量规则监控数据质量指标并与其他团队协调解决数据质量问题3. 数据网格的分工3.1. 数据网格方法将数据视为组织内不同领域之间共享的资产3.2. 数据网格方法不是由中央数据团队处理所有数据而是将责任分配给跨职能领域团队3.3. 每个团队对其生产的数据负责在确保其质量的前提下将数据作为产品提供给其他部门使用和访问3.3.1. 大大改变了所需的团队、分工和职责3.3.2. 逐个团队进行分析3.4. 域团队3.4.1. 每个领域有一个域团队3.4.2. 数据网格特有的一个额外分工是数据产品所有者3.4.3. 领域数据产品所有者负责其领域生产的数据3.4.4. 管理其生命周期、确保其质量、使其可访问并使其与业务需求保持一致3.4.5. 产品所有者应该同时了解数据的技术和业务方面内容3.5. 自助数据基础设施平台团队3.5.1. 数据网格架构师3.5.1.1. 设计总体架构和指南引导领域团队的共同协作并促进互相沟通和学习3.5.2. 平台架构师3.5.2.1. 设计数据平台的整体架构以支持各领域的需求并使数据平台能适应各种数据类型、工作负载和分析工具3.5.3. 平台工程师/开发人员3.5.3.1. 构建和维护平台基础设施包括数据库、API、容器编排和其他方面3.5.4. 数据工程师3.5.4.1. 致力于在平台内移动和转换数据的管道确保数据清洁、一致并可供所有需要的人使用3.5.5. DevOps工程师3.5.5.1. 负责自动化平台部署、扩展和管理确保平台稳定可靠并能满足数据团队的需求3.5.6. DataOps工程师3.5.6.1. 负责管理和优化数据和数据科学模型的端到端生命周期包括监控数据质量并确保满足数据隐私和合规要求3.5.7. 安全和合规官3.5.7.1. 确保平台遵循数据安全和隐私的所有必要法规并且执行最佳运行方案3.5.8. 产品所有者/经理3.5.8.1. 作为技术团队和业务利益相关者之间的纽带尽可能管理、优化和改善平台功能以符合用户需求和业务目标3.5.9. 用户体验(UX)设计师3.5.9.1. 负责设计领域团队用于与平台交互的界面旨在易用性和有效性3.5.10. 支持和培训人员3.5.10.1. 协助领域团队使用平台解决问题并培训新用户3.6. 联邦计算治理平台团队3.6.1. 供必要的指导以帮助每个领域团队管理其数据使其与组织的政策和标准保持一致3.6.2. 数据治理负责人3.6.2.1. 指导整体治理策略并确保团队的举措与组织的战略目标一致3.6.2.2. 与各个领域的代表和主题专家进行协调定义治理标准和政策3.6.3. 数据治理专家3.6.3.1. 制定和监督数据标准和政策与领域团队密切合作确保他们正确应用指南3.6.4. 数据隐私和合规官3.6.4.1. 确保领域团队遵守数据隐私法规和内部合规政策同时在与外部法律和合规专家合作时就法律和监管考虑事项为团队提供指导3.6.5. 数据安全分析师3.6.5.1. 定义领域团队必须遵循的安全标准和程序为他们提供指导并确保他们遵循治理政策的安全方面内容3.6.6. 数据质量专家3.6.6.1. 定义质量标准和程序以确保整个组织生成的数据质量3.6.6.2. 与领域团队合作并设置数据质量指标和监控系统3.6.7. 领域代表3.6.7.1. 作为领域团队的代表将特定领域的数据知识带到治理平台团队并确保治理政策与其领域的需求保持一致3.6.8. 数据架构师3.6.8.1. 定义数据建模标准包括设计和管理逻辑和物理数据模型3.6.9. DataOps工程师3.6.9.1. 负责自动化数据治理政策的实施和监控3.6.9.2. 维护支持数据标记和其他数据识别和管理机制的系统和工具3.7. 每个团队的确切分工和职责将根据组织及其数据网格的具体情况而有所不同3.7.1. 每个领域团队都对该领域作为产品的数据负责3.8. 架构应该灵活以应对业务和技术环境的变化并且足够强大以确保数据质量和可用性