ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

AI小白/程序员必备!大模型应用开发工程师学什么?从Agent倒推技术栈,附学习路径图

AI小白/程序员必备!大模型应用开发工程师学什么?从Agent倒推技术栈,附学习路径图

本文针对想转AI应用开发方向的读者,清晰划分了AI学习的两条路径:模型侧与应用侧。文章以"Agent = Model + Harness"为核心公式,详细解析了Harness的六大模块,包括规划编排、沙箱执行环境、技能工具、记忆上下文工程、系统提示词与护栏、可观测与反馈闭环,并深入探讨了相关技术组件。同时,文章提供了从L0到L3的四个阶段性学习路径,帮助读者逐步掌握AI应用开发的核心技能,并明确了该方向对应的岗位需求与面试重点。

一个公式(Agent = Model + Harness)、六个模块、一张技术组件地图。这篇文章讲的是应用开发这一侧,具体要装哪些知识。

  1. 引子:一个很典型的问题

上个月,一位工作了三年的 Java 读者给我发消息。

他说想转 AI 方向,已经学了两个月。我问他学到什么程度,他发来一份很长的笔记——Transformer 架构、注意力机制、LoRA 微调原理、LangChain 六大组件、RAG 的三种检索策略,标了重点,还写了批注。

我说,那你做个东西给我看看?

他停了一会儿,回我:

“我跟着教程跑通过几个 demo。但让我自己从零做一个,我不知道从哪开始。”

我问他这两个月在做什么。他说看视频、记笔记、读论文、收藏教程,“我想先把原理搞懂,再动手做”。

这个困惑我听过很多次。它既不是努力不够,也不是学不会——它是没分清"学 AI"这四个字里,到底包含了哪几件事。

因为"学 AI"实际上是两条方向不同的路:一条是研究模型本身,一条是把模型变成能干活的产品。这两条路需要的知识结构、训练方式、职业出口都不一样。

如果不先把这件事分开,就容易像这位读者一样:两种知识都碰了一点,但哪一条都没走到底。

这篇文章想讲清楚其中一条——AI 应用开发工程师,到底该学什么、按什么顺序学。

  1. 先分清两条路:模型侧 与 应用侧

行业里说"做 AI",粗分是两个方向。

模型侧(算法工程师)

  • 做什么

:预训练、微调、对齐(RLHF / DPO)、推理优化、模型评测

  • 知识底座

:线性代数、概率统计、最优化、深度学习、分布式训练

  • 工作方式

:读论文、跑实验、调超参、评估指标

  • 特点

:门槛高、迭代周期长、算力成本大。但它是整个 AI 能力的源头——没有模型侧的持续进展,下游的应用侧无从谈起

应用侧(应用开发 / Agent 工程师)

  • 做什么

:把模型能力接进真实业务,构建能完成多步任务的 Agent 系统

  • 知识底座

:软件工程、系统设计、API 集成、并发与容错、可观测性

  • 工作方式

:写代码、搭系统、做集成、跑评测、控成本

  • 特点

:岗位数量多、迭代快、贴近业务。模型的能力最终要落到产品上,靠的就是这一侧

这两条路是分工关系,不是替代关系。

一个类比:模型侧像造发动机的人,应用侧像造整车的人。发动机决定了这辆车的性能上限,但一辆能上路的车,还需要传动、底盘、电控、安全系统。

选哪条,取决于你的底座和兴趣:

你的情况更适合
数理基础扎实,喜欢读论文、做实验,能接受长周期模型侧
工程能力强,喜欢做系统、拆需求、快速迭代应用侧
想先就业、快速有产出,之后再决定深入方向应用侧(本文主题)

说明

走应用侧,不代表可以完全不懂模型。你需要理解模型的能力边界、上下文限制、概率特性、幻觉的成因——但这是"理解"层面的要求,不是"从零推导反向传播"层面的要求。这两者的差距很大。

  1. 应用侧的核心公式:Agent = Model + Harness

2026 年初,AI 工程圈给一个概念正式定了名:Agent Harness(智能体运行时 / 脚手架)。

这个公式的核心只有一行:

Agent = Model + Harness
  • Model

:大语言模型。提供推理、生成、判断。这一侧由模型厂商构建,你通过 API 使用。

  • Harness

:包裹在模型外面的运行系统。负责调度、执行、记忆、约束、观测。这一侧是应用工程师的主战场。

一个很好懂的类比:

计算机AI Agent主要由谁负责
CPU(提供算力)Model(提供推理)芯片 / 模型厂商
操作系统(调度、内存管理、I/O 驱动)Harness(调度、记忆、工具、安全)应用工程师
你写的应用程序具体的 Agent应用工程师

这里有一个对应用工程师很关键的认知:

一个 Agent 好不好用,往往不取决于换了哪个模型,而取决于 Harness 搭得怎么样。

同一个模型,换一套 Harness 架构,任务成功率可以差出好几倍——这一点在工程实践中被反复验证过。

这个公式的价值在于:它把"学 AI"从一片模糊的知识海洋,变成了六个可以逐个攻克的模块。

  1. Harness 六大模块:应用工程师的学习地图

一个完整的 Harness,由六个模块构成。下面逐个讲清楚:它解决什么问题、你要学什么、涉及哪些技术组件。

1规划与编排(Planning & Orchestration)

解决的问题:把一个大任务拆成可执行的小步骤,并管理它们的状态流转。

要学:

  • 任务拆解

:把"做一份数据报表"拆成"读数据 → 清洗 → 算指标 → 画图 → 输出"

  • 编排模式

:ReAct(推理与行动交替)、Plan-and-Execute(先规划再执行)

  • 状态管理

:计划 → 执行 → 检查 → 修正的流转;失败后如何从断点恢复

技术组件:LangGraph、状态机、任务队列。

工程要点

不是所有任务都需要"自主规划"。流程确定的就写成固定流程——成本、延迟、稳定性都会更好。什么时候该让模型自主决策、什么时候该写死,这是编排环节的核心判断。

2沙箱执行环境(Sandbox)

解决的问题:让 Agent 真的能读写文件、运行代码,同时把风险限制在隔离环境里。

要学:

  • Docker 基础

:容器、镜像、隔离

  • Linux 常用命令

:Agent 的运行环境基本是 Linux

  • 资源限制

:CPU、内存、网络、超时

技术组件:Docker、代码解释器、文件系统挂载、进程管理。

工程要点

模型会犯错——可能生成危险命令、可能死循环、可能吃光内存。沙箱是兜底:让它在隔离环境里犯错,而不是在你的生产机上。这一块看起来"不像 AI",但它决定了 Agent 能不能稳定跑起来。

3技能与工具(Skills & Tools)

解决的问题:让 Agent 能调用外部能力。

要学:

  • Function Calling

:模型输出一段 JSON 表示"我想调用这个函数、参数是这些",真正执行函数的是你写的代码。理解这一点,才能理解整条工具链路的边界在哪。

  • MCP 协议

:把"给 Agent 接工具"标准化,不用每接一个 API 就重写一遍集成逻辑。

  • 工具设计

:参数校验、错误处理、返回值裁剪。

技术组件:Function Calling、MCP、OpenAPI Schema、参数校验库。

工程要点

工具返回的结果要有节制。一个搜索接口返回几千字原文直接塞回上下文,会挤占推理空间。返回前先裁剪或摘要,是工具设计里的常规动作。

4记忆与上下文工程(Memory & Context)

解决的问题:让 Agent 记住该记的、忘掉该忘的。

要学:

  • 上下文工程

:模型能看到的窗口有限,要决定什么信息进、什么被压缩

  • RAG(检索增强生成)

:文档切分、Embedding、向量数据库、混合检索、重排

  • 上下文压缩

:长对话如何摘要,既保留关键信息又控制 token

技术组件:Embedding 模型、向量数据库(pgvector / Milvus / Qdrant)、检索器、重排模型。

工程要点

上下文管理本质是做减法。另外,RAG 擅长解决"知识缺失"型的问题,而推理层面的错误需要靠"检索 + 校验 + 兜底"的组合来处理。

5系统提示词与护栏(System Prompts & Guardrails)

解决的问题:告诉 Agent 能做什么、不能做什么。

要学:

  • 角色与边界定义

:明确 Agent 的身份和能力范围

  • 代码层约束

:写在提示词里的"不要删除文件"是建议,真正的约束要在代码里拦截

  • Hooks 机制

:高风险动作前插入人工确认(如发送邮件、删除文件)

  • 结构化输出

:用 JSON Schema 约束模型输出格式,便于程序解析

技术组件:Prompt 模板、结构化输出(JSON Schema)、权限校验、人工确认钩子。

工程要点

能用代码拦住的,就不要只靠提示词。安全规则要落在代码路径上。

6可观测与反馈闭环(Observability)

解决的问题:记录 Agent 做了什么,出错能复盘,改动能验证。

要学:

  • 全链路 Trace

:每一步的输入、输出、工具调用

  • 评测(Eval)

:建一个 10–20 个任务的小测试集,每次改动后跑一遍,看成功率、步数、成本

  • 成本统计

:从第一天起统计每个任务的 token 消耗

技术组件:日志 / Trace、评测集、成本看板。

工程要点

单次跑通不等于可用。模型的输出有概率性,同一类任务换几次输入都能稳定得到可用结果,才算真正过关。另外,多轮 Agent 的 token 消耗是单次调用的几十倍,成本要提前纳入设计。

· · ·

六个模块到这里。它们不是"学完再做"的线性关系,而是搭建一个系统时需要同时考虑的六个侧面。

  1. 这些模块背后的技术组件

前面反复提到了一些名词。这一节把它们单独拎出来,一次讲清楚。

Function Calling(函数调用)

这是最容易被误解的一个概念。

很多人以为"Function Calling 是模型在执行函数"。实际流程是:

  1. 你把可用工具的描述(名称、用途、参数 Schema)随请求一起发给模型

  2. 模型判断需要调用哪个工具,输出一段 JSON(工具名 + 参数)

  3. 你的代码

解析这段 JSON,真正执行函数

  1. 你把执行结果回填给模型

  2. 模型基于结果继续推理,或者给出最终答复

模型负责"决定调什么",你的代码负责"真正执行"和"错误处理"。把这条链路理解清楚,是 Agent 从"会聊天"到"能干活"的分界。

MCP(Model Context Protocol)

MCP 解决的是工具接入的标准化问题。

在没有 MCP 之前,每接一个外部服务(数据库、文件系统、第三方 API),都要写一套专用的集成代码。MCP 把这件事抽象成协议:工具方实现一个 Server,Agent 方作为 Client 连接,双方按统一格式交换能力描述和调用请求。

直接带来的好处:接新工具的成本大幅下降,工具可以跨 Agent 复用。

RAG(Retrieval-Augmented Generation,检索增强生成)

让 Agent 基于你自己的资料回答问题。完整链路:

离线(建立索引):文档 → 切分 → 向量化 → 存入向量库

在线(每次问答):提问 → 检索 → 重排 → 拼进上下文 → 模型生成

每一环都有可调的工程点:切分粒度、Embedding 模型选型、检索条数、是否加重排。

Embedding 与向量数据库

  • Embedding

:把文本映射成一个向量,语义相近的文本,向量距离也近。这是"语义检索"的基础。

  • 向量数据库

:负责存向量、做近邻检索。常见选择有 pgvector(已有 Postgres 时最省事)、Milvus、Qdrant 等。

对应用工程师来说,重点是会用、会评估检索效果,不需要自己训练 Embedding 模型。

沙箱与容器

Agent 要执行代码或操作文件时,放进隔离环境(通常是 Docker 容器):限制资源、隔离文件系统、控制网络出口。这是 Agent 走向生产环境的前提条件。

上下文管理

包括窗口内的信息取舍、历史对话摘要、工具返回结果裁剪、多轮任务的状态持久化。这部分没有标准答案,更多依赖工程经验。

可观测与评测(Eval)

  • Trace

:一次任务里每一步的输入输出都要能回看

  • Eval

:用固定测试集衡量改动效果,而不是靠"感觉变好了"

  • 成本

:token 数、调用次数、单任务成本

这三样合起来,是把 Agent 当成一个工程系统来维护的标志。

  1. 学习路径:四个阶段

前面讲的是"要学什么",这一节讲"按什么顺序学"。

先说一个前提:理论教材和项目实践,是两种用途不同的地图。

  • 教材 / 理论

是"知识地图":它告诉你这个领域的全貌长什么样、边界在哪。作为参考体系,它很有价值。

  • 项目实践

是"导航路线":它决定你先走哪一段、下一步往哪拐。

两份地图配合使用效果最好:用项目带动具体知识点的深入,同时保持对整体框架的了解。

下面这条路径,是以"做出一个可用的 Agent"为目标倒推出来的顺序。

L0:先跑通(约 1 个月)

目标:手写一个最小的 Agent,先不用框架。

做什么:用原生 Python 调模型 API,实现一个最小循环:

用户提问 → 模型判断是否要调工具 → 调工具 → 结果回填 → 继续判断 → 给出答案

做一个能回答"今天天气"或者"读一个文件并总结"的小东西。

为什么先用原生 API:框架会替你处理很多细节。先用原生方式写一遍,你会知道框架到底帮你做了什么,后面用它的时候也更容易排查问题。

要学:Python 异步、JSON 处理、HTTP 请求、API 密钥管理、错误重试。

产出:一段 100 行左右、你能逐行解释的 Agent 代码。

L1:加能力(约 1 个月)

目标:让 Agent 真的有用。

做什么:

  • 加 2–3 个真实工具(搜索、读数据库、调用一个你熟悉的业务 API)
  • 加 RAG,让它基于一份真实文档回答问题
  • 处理结构化输出与失败重试

要学:Function Calling、MCP、Embedding、向量数据库、RAG 全链路。

产出:一个解决真实问题的 Agent。痛点最好来自你自己的日常,而不是教程里的示例。

L2:工程化(约 2 个月)

目标:从"能跑"到"稳定地跑"。

做什么:

  • 放进 Docker 沙箱
  • 加日志、评测集、成本统计
  • 加护栏:高风险动作前人工确认
  • 处理超时、限流、工具报错

要学:Docker、Linux、日志设计、Eval 方法、成本核算。

产出:一个能长时间稳定运行、出错可复盘的 Agent。

为什么这一级重要

L2 是企业招聘时最看重的阶段。面试时,它直接区分了"做过玩具"和"做过系统"。

L3:优化与协作(约 2 个月)

目标:从单 Agent 走向多 Agent 协作,做性能与成本优化。

要学:多 Agent 编排、子 Agent 隔离、上下文压缩策略调优。

产出:一个你能讲清楚架构取舍的复杂系统。

建议:先把单 Agent 做扎实,再进入这一层。

一个时间参考:这条路径按每天投入 1–2 小时估算——这也是大多数在职学习和在校学习的真实节奏。从 L0 走到 L2、具备求职能力,大约需要 4 个月;继续走完 L3,总计约 6 个月。个体差异较大,这个区间仅供参考。

  1. 几个常见疑问

“要不要学数学和模型原理?”

要,但深度取决于你的方向。

  • 应用工程师

:需要理解 token、上下文窗口、注意力机制的直觉、温度参数、幻觉的成因、模型擅长什么不擅长什么。理解到"知道为什么"这个程度即可。

  • 算法工程师

:需要能手推公式、能读论文、能复现实验。

理解模型的边界,能帮你做出更好的工程决策——比如什么时候该用 RAG,而不是把资料全塞进上下文。

“要不要用框架?”

用,但建议先用原生 API 跑通一遍。

框架的价值是提效和工程规范;它的成本是抽象层带来的排查难度。知道底层发生了什么,用框架时会从容很多。

“要本地部署大模型吗?”

这取决于你的目标:

  • 如果你要开发应用:在线 API 起步更快,把精力放在 Harness 上性价比更高。
  • 如果你关注数据合规、离线场景,或者想往模型侧走:本地部署是必要的技能,值得单独投入时间。

两件事难度不同,但都有价值。选哪个取决于方向,不是对错。

“怎么判断自己算学会了?”

一个可操作的判断标准:同一类任务,换几次输入,都能稳定得到可用结果,并且你能解释为什么。

单次跑通是起点,不是终点。

  1. 这些能力,对应市场上什么岗位?

回到就业。根据公开的招聘数据(数据来源:脉脉高聘、智联招聘):

  • 新发校招岗位总量同比 +3.56%,新发 AI 岗位同比 +47.30%
  • 人工智能工程师

以 31.1% 的职位数增速,位居应届生需求增速前列

AI 方向的岗位增量很明显。在这类岗位里,应用开发(Agent / 大模型应用)的职位数量最多——因为需要"用模型改造自身业务"的公司数量,远多于自己训练模型的公司。

那这些岗位面试会问什么?据招聘方的反馈,大致是三类:

  1. 概念类

:什么是 Agent?Function Calling 的原理是什么?Agent 和 Chatbot 的区别?RAG 怎么工作?

  1. 设计类

:“如果让你给我们的产品做一个问答 Agent,你会怎么设计?”——考的是你能不能把需求拆成数据接入、切分、检索、生成、评测这条链路。

  1. 项目深挖类

:针对你简历上的项目,追问每一个技术取舍。

第三类最关键。面试官关心的是你"做过什么、为什么这么做"。

所以:作品集比证书更有说服力。一个真实跑起来、你能讲清楚每个决策的 Agent 项目,胜过一叠证书。

  1. 写在最后

回到开头那位读者。

他那两个月的学习并没有白费——那些知识迟早要用到。他只是还没找到入口。

我当时给他的建议是:先停下来,用原生 Python 写一个 100 行的 Agent,让它能查天气。然后你会发现,你自然会想知道"它怎么记住上一轮说的话"“它怎么调用外部接口”“它出错了我怎么知道”——

这些问题的答案,就是接下来要学的全部内容。

知识在被需要的时候学,记得最牢。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线科技企业深耕十二载,见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事,早已在效率与薪资上形成代际优势,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包:

  • ✅ 从零到一的 AI 学习路径图
  • ✅ 大模型调优实战手册(附医疗/金融等大厂真实案例)
  • ✅ 百度/阿里专家闭门录播课
  • ✅ 大模型当下最新行业报告
  • ✅ 真实大厂面试真题
  • ✅ 2026 最新岗位需求图谱

所有资料 ⚡️ ,朋友们如果有需要《AI大模型入门+进阶学习资源包》,下方扫码获取~

① 全套AI大模型应用开发视频教程

(包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点)

② 大模型系统化学习路线

作为学习AI大模型技术的新手,方向至关重要。 正确的学习路线可以为你节省时间,少走弯路;方向不对,努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划,带你从零基础入门到精通!

③ 大模型学习书籍&文档

学习AI大模型离不开书籍文档,我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。

④ AI大模型最新行业报告

2025最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

⑤ 大模型项目实战&配套源码

学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。

⑥ 大模型大厂面试真题

面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

以上资料如何领取?

为什么大家都在学大模型?

最近科技巨头英特尔宣布裁员2万人,传统岗位不断缩减,但AI相关技术岗疯狂扩招,有3-5年经验,大厂薪资就能给到50K*20薪!

不出1年,“有AI项目经验”将成为投递简历的门槛。

风口之下,与其像“温水煮青蛙”一样坐等被行业淘汰,不如先人一步,掌握AI大模型原理+应用技术+项目实操经验,“顺风”翻盘!

这些资料真的有用吗?

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

以上全套大模型资料如何领取?

RELATED READING

延伸阅读

更多一线实战笔记与深度复盘,助您持续精进