【免费下载链接】ai-infra-engineer-learningAI Infrastructure Engineer Learning Track - Production ML infrastructure curriculum (2-4 years experience)项目地址https://gitcode.com/gh_mirrors/ai/ai-infra-engineer-learning点击查看免费下载ai-infra-engineer-learning是一套面向生产环境的 AI 基础设施工程师学习课程其中第 10 模块专门讲解LLM 基础设施如何用vLLM 生产部署开源大模型、如何构建RAG 检索增强生成系统、如何把整套平台跑在 Kubernetes GPU 集群上。对于 2-4 年经验的工程师来说这是整套课程里离高薪岗位最近的一个模块。一、为什么 vLLMRAG 是 LLM 基础设施的刚需组合 企业落地大模型时几乎都会遇到三个问题痛点vLLM 怎么解决RAG 怎么解决调用 API 太贵、数据出不了内网自托管推理吞吐量比传统方式高 10-20 倍企业私有知识直接入库无需微调答案一本正经地胡说—回答基于检索到的真实文档可溯源GPU 资源利用率低、成本高PagedAttention 显存管理 连续批处理向量库检索只花几毫秒成本可控简单来说vLLM 管算得快RAG 管答得准两者组合就是生产级 LLM 服务的标准形态。二、模块学习地图8 课 8 实验 14 练习 ️模块入口在 mod-110 模块总览建议按 4-5 周节奏学习周次主题核心内容第 1 周基础与部署vLLM 部署教程PagedAttention、OpenAI 兼容 API第 2 周RAG 与向量库RAG 系统教程、向量数据库Qdrant/Weaviate/Chroma第 3 周微调与优化微调基础设施LoRA/QLoRA、推理优化量化、Flash Attention第 4 周平台与生产平台架构、生产最佳实践高可用、灰度、安全前置要求Docker、Kubernetes、Prometheus/Grafana 三块基础对应课程模块 103、104、108以及一块 ≥12GB 显存的 GPU 做实验。三、vLLM 生产部署最快上手路径 模块里最实用的 hands-on 材料是实验 Lab 01: 用 vLLM 部署 LLM75 分钟流程只有四步拉镜像起容器一条 Docker 命令启动 vLLM 的 OpenAI 兼容服务vllm/vllm-openai镜像 --gpus all验证服务请求/v1/models确认模型上线发一条对话用 OpenAI 客户端指向localhost:8000/v1即可业务代码几乎零改动跑吞吐基准对比 HuggingFace 原生推理同并发下 vLLM 通常快 5-10 倍差异直观可见。想深入原理的同学可以看 02-vllm-deployment.md里面用图示解释了两大核心机制PagedAttention像操作系统分页一样管理 KV 缓存显存几乎零浪费能塞下更大批处理连续批处理请求完成即腾出位置、新请求随时加入GPU 利用率可达 60-90%。再往上走是 36-44 小时的综合练习 Exercise 01: 生产级 LLM 服务平台——业务背景很真实把每月 15 万美元的 API 账单降到 5 万美元以下同时满足数据不出内网的合规要求。四、RAG 系统让大模型的回答有据可查 RAG 的完整链路在 03-rag-systems.md 中拆解得很清楚本质是两条流水线离线索引文档 → 解析 → 分块 → 生成向量 → 写入向量库在线查询用户提问 → 向量化 → 相似度检索 Top-K → 可选重排→ 拼装进 Prompt → vLLM 生成有出处的回答。配套实验可以按顺序做实验学到什么Lab 02: RAG 管道端到端搭一条可问答的 RAG 链路Lab 03: Qdrant 向量库向量数据库部署、索引与查询调优Lab 07: Prompt 注入防护RAG 场景下常见的安全坑完整的实战题目是 Exercise 02: 生产 RAG 系统包含文档摄取、检索质量评估等生产细节如果检索精度不够模块还提供了混合检索与重排的进阶练习。五、Kubernetes GPU生产部署的地基 ️课程配套的完整项目模板在 project-103-llm-deployment约 50 小时高难度架构是FastAPI 网关 → RAG 系统 / 直连生成 → vLLM 引擎GPU→ Prometheus 监控。其中 Kubernetes 相关配置最值得直接抄作业gpu-node-pool.yamlGPU 节点池规划hpa.yaml基于自定义指标的 LLM Pod 自动扩缩llm-deployment.yaml显存资源请求与 GPU 调度。项目文档架构、RAG 设计、部署指南帮你理解每个组件为什么这么配。六、成本与监控LLM 基础设施的隐藏价值 很多人忽略的一点LLM 服务是烧钱的会看账单才算真的会运维。课程把这一点做成了显性内容成本结构拆解见 COST.mdGPU 算力 $0.5-4/小时推理按 token 计费给出三档规模的月度估算省钱三板斧模型量化显存省 30%、批量推理吞吐 3-5 倍、Spot 实例 闲时缩到零监控直接给了现成配置Prometheus 告警规则 Grafana LLM 面板覆盖延迟、token 用量、GPU 利用率和每千次请求成本还有一个专门的实验 Lab 06: 成本监控教你给推理服务接上计价器。七、学习建议与成功标准 ✅学习顺序建议先读 模块 README 确认前置知识按 Lab 01 → Lab 02/03 的顺序把 vLLM 和 RAG 各跑通一遍再挑战 Exercise 01/02 两个综合练习最后对照 project-103 的项目清单把 K8s 部署和监控补齐。学完你应该能做到即课程定义的验收标准部署一个带监控和自动扩缩的生产 LLM API搭建能准确检索、回答有据可查的 RAG 系统用量化 批处理把推理成本降低 50% 以上设计多模型 LLM 平台架构并做出自建 vs 买 API的成本决策。对应岗位AI 基础设施工程师LLM 方向、生成式 AI MLOps 工程师、AI 平台工程师——正是当下市场上溢价最高的一类角色。赞分享【免费下载链接】ai-infra-engineer-learningAI Infrastructure Engineer Learning Track - Production ML infrastructure curriculum (2-4 years experience)项目地址https://gitcode.com/gh_mirrors/ai/ai-infra-engineer-learning点击查看免费下载相关推荐AI基础设施工程师第一课用ai-infra-engineer-learning打好ML基础设施的地基新手友好AI基础设施工程师第一课用ai infra engineer learning打好ML基础设施的地基新手友好 本文带你走进开源课程 ai infra什么是 ai-infra-engineer-learning成为年薪 $120K AI 基础设施工程师的完整开源学习路线什么是 ai infra engineer learning成为年薪 $120K AI 基础设施工程师的完整开源学习路线 ai infra engineerai-infra-engineer-learning学习规划12周攻克500小时AI基础设施课程的时间表与路线图ai infra engineer learning学习规划12周攻克500小时AI基础设施课程的时间表与路线图 ai infra engineer lea创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考