医疗大模型这四个字，真正上手做过的人都知道水深在哪儿。把一个通用大模型直接推到诊室里，它能把医学考试题答得八九不离十，但面对一份带三张既往影像、两页出院小结、一堆检验指标的复杂病例，输出常常是"看着像那么回事，细看全是坑"。Med-Gemini 这一类方案之所以值得拿出来拆，不是因为某个榜单分数，而是它给出了一套比较完整的工程答案：原生多模态打底、超长上下文承载整份病历、外挂工具补齐计算与检索、再用自训练把无标注数据的价值榨出来。这篇就按一个真正要落地项目的视角，把设计取舍、数据工程、训练流程、评测方法和踩坑记录一次讲透。适合两类人看：一类是准备做行业大模型的技术同学，想知道医疗这个垂直领域到底特殊在哪；另一类是医疗信息化或临床科研背景、想搞明白大模型能力边界的从业者。读完之后你至少能判断：自己手上的数据够不够、算力撑不撑得住、以及哪些环节是绝对不能省的。

1. 医疗大模型到底难在哪：先把问题拆开

1.1 通用能力不等于临床可用

先说一个很多人误判的地方。通用大模型在医学选择题上拿高分，靠的主要是语言层面的模式匹配和医学教科书里的常识覆盖，它并不真正"看"过影像，也没有处理过完整的诊疗流程。一旦任务从"选出正确答案"变成"根据这组片子写一份结构化报告"，差距立刻暴露：报告里的解剖位置描述含糊、左右侧写反、病灶尺寸和影像对不上、既往史和本次发现互相矛盾。这些错误在选择题里不会扣分，在临床场景里每一条都是硬伤。

所以做医疗大模型，第一件事不是选基座，而是把任务重新定义清楚。我的经验是把任务分成三层：第一层是信息抽取与结构化，比如从病历里抽出入院诊断、手术记录、用药清单，这类任务对幻觉的容忍度极低但边界清晰，容易做扎实；第二层是跨模态理解与生成，比如影像报告生成、病理切片描述，需要模型真正建立像素与术语之间的映射；第三层是临床推理与决策支持，比如鉴别诊断排序、检查项目建议，这一层风险最高，通常只能作为医生的辅助提示，不能直接给出结论。Med-Gemini 这类方案在三个层面都有覆盖，但公开材料里重点展示的其实集中在第二层的多模态能力和第三层的推理能力上，落到实际项目里，我建议先把第一层做透，再往上走。

还有一个现实问题：评测饱和。医学问答基准这几年分数被刷得很高，头部模型之间差距往往只有一两个点，这种差距在统计上未必显著，更不能说明临床能力。我在项目里吃过这个亏——内部基准涨了两个点，兴冲冲拿给临床医生试用，反馈是"感觉没啥变化"。后来才明白，基准题目和真实病例的分布差太远：基准题是干净的、单跳的、有标准答案的；真实病例是脏的、多跳的、答案本身就有争议的。

1.2 医疗数据的三个特殊性

做医疗方向，数据这件事必须提前想明白，因为它直接决定了后面所有环节的天花板。

第一是多模态且模态之间严重不均衡。文本数据量最大，病历、指南、论文、教材，相对容易拿到；影像数据量也不小，但配对的"影像-报告"数据要少一个数量级；波形数据（心电、脑电）和组学数据就更稀缺。这种不均衡会导致训练时模型把绝大部分容量花在文本上，影像模态学得很浅。解决办法不是简单地把影像数据重复采样，而是在损失函数和数据配比上做专门设计，后面第 3 节会展开。

第二是长尾极长。常见病样本堆积如山，罕见病可能全院一年就几例。模型在长尾病种上的表现断崖式下跌，而长尾恰恰是临床最需要辅助的地方——常见病医生自己就能判断。这就要求在数据构建阶段有意识地对长尾做上采样，或者用检索增强的方式把罕见病知识以"外挂"形式注入，而不是指望模型从几个样本里学会。

第三是标注成本极高且质量参差。一份影像报告要让高年资医生逐句标注，成本是普通文本标注的几十倍。更麻烦的是标注一致性：不同医生对同一张片子的描述详略、术语习惯差异很大，同一个病灶可能被写成"结节影""团块状密度增高影""占位性病变"。如果直接拿这种数据做监督微调，模型学到的是一堆风格混杂的输出。我的做法是先做术语归一化，把描述映射到一套受控词表，再让模型学归一化之后的表达，生成阶段再按目标医院的习惯做风格适配。

1.3 Med-Gemini 类方案的整体设计取向

把这些难点摆开之后，再看这类方案的设计选择就很好理解了。它没有走"小模型+大量规则"的路线，也没有走"纯文本大模型+外挂影像分类器"的拼接路线，而是选择了原生多模态 + 超长上下文 + 工具调用 + 自训练这套组合。这四个选择各自解决一个问题：

• 原生多模态解决"跨模态推理"，让模型能在同一套表征空间里同时处理影像和文本，而不是把影像压成一个标签再喂给语言模型；
• 超长上下文解决"整份病历/整组影像"的问题，让模型能一次性看完整个时间线，而不是切片式地看；
• 工具调用解决"算不准、记不住"的问题，把定量计算、图像分割、最新文献检索交给专用模块；
• 自训练解决"标注数据不够"的问题，用模型自己生成伪标签再筛选，把海量无标注数据用起来。

这四个选择不是随便拼的，它们之间有依赖关系：没有长上下文，多模态输入就只能一张一张喂，跨影像对比做不了；没有工具调用，长上下文里塞进去的定量信息模型也处理不准；没有自训练，多模态数据量根本撑不起原生多模态的训练。理解这层依赖，比记住任何一个单项技术都重要。

2. 架构设计：为什么走"原生多模态+长上下文"路线

2.1 从拼接式多模态到原生多模态的取舍

早期做医疗多模态，主流做法是拼接式：影像走一个独立的视觉编码器（或者干脆是一个训练好的分类/分割模型），输出一个向量或者一段文字描述，再喂给语言模型。这种做法上手快、成本低，很多落地项目至今还在用。它的致命问题在于信息瓶颈——影像里百分之九十九的信息在编码那一步就丢了，语言模型拿到的只是别人嚼过的结论。

举个具体例子：给模型一张胸部 CT 和一句"请结合影像判断这个结节是否需要随访"。拼接式方案里，视觉模块输出的是"发现 8mm 实性结节，位于右肺上叶"，语言模型只能基于这句话推理，它看不到结节的边缘是否光滑、有没有毛刺、密度是否均匀——而这些恰恰是判断的关键。原生多模态方案里，影像被切成 patch 序列，和文本 token 一起进同一个 Transformer，模型可以自己决定"关注"结节的边缘形态，这种能力是拼接式方案给不了的。

代价也很明确：训练成本高一个量级，数据要求高，而且容易出现模态塌缩——模型发现只靠文本就能把损失降下去，于是干脆忽略影像输入。这个问题在实际训练中非常常见，后面第 6 节会专门讲怎么排查。

我的建议是分场景选：如果任务本质是"把影像结论翻译成文字"（比如结构化报告生成里的模板填充），拼接式完全够用，性价比高得多；如果任务需要模型自己从像素里发现细节并参与推理（比如"这两次检查之间病灶有没有进展"），就必须上原生多模态。不要为了技术先进性硬上，算力和数据跟不上，原生多模态的效果可能还不如精心调优的拼接方案。

2.2 长上下文解决的是"整份病历"的问题

医疗场景对上下文长度的需求，比通用场景夸张得多。一份完整的住院病历，包含入院记录、病程记录、医嘱、检验、影像报告、手术记录、出院小结，动辄几万字；一次多学科会诊要看的资料，可能是十几个文档加几十张影像；一本临床指南，几百页。

传统方案是 RAG：把文档切块、检索、拼进上下文。这套方法在"查一条知识"时很好用，但在"综合判断一个病例"时经常掉链子。原因是医疗推理高度依赖跨文档的时间关联：三个月前的某个指标异常，和这次的影像表现，和两周前的用药调整，这三件事分开看都没什么，连起来看才构成一个完整的判断。切块检索会把这种关联切断，模型只能看到碎片。

Med-Gemini 这类方案把上下文拉到百万 token 量级，本质上是在解决这个问题：让模型一次性看完整个时间线，自己去做关联。实测下来，这个能力对"病程演变分析""多学科会诊辅助"这类任务提升非常明显，对"单点知识问答"反而没什么帮助——那些任务 RAG 更便宜也更准。

但长上下文不是免费的。显存占用随长度线性甚至超线性增长，推理延迟也跟着涨；更麻烦的是**"中间遗忘"**，模型对上下文首尾的信息记得牢，中间部分容易忽略。工程上的应对办法有两个：一是训练阶段就做长上下文适配，不能拿短上下文模型直接推长输入；二是关键信息做显式标注，比如在 prompt 里用结构化标签把"主诉""关键检验""影像结论"标出来，引导注意力。

2.3 医疗知识注入的三层结构

知识注入这件事，很多团队只做了中间一层，效果自然不理想。完整的结构应该是三层：

底层决定"懂不懂"，中层决定"会不会说"，上层决定"准不准"。我见过不少项目跳过底层直接做指令微调，结果模型输出看着专业，但概念之间经常张冠李戴，比如把两种相似的病理类型混为一谈——这就是底层知识不牢的表现。也见过只做底层不做上层的，模型张口就是"根据一般经验"，遇到具体的药物剂量计算就开始编。

上层的检索增强在医疗场景里格外重要，因为医学知识更新太快。指南每年修订，新药不断上市，如果指望模型参数里记住所有最新信息，那是不现实的。把检索做扎实，让模型在回答前先查一遍权威来源，比反复微调模型有效得多。Med-Gemini 方案里把网络检索作为一个可调用的工具，思路就是这个。

2.4 参数规模与推理成本的平衡

这一块是纯工程账，必须算清楚。医疗场景的部署往往在医院内网，算力资源有限，不可能无限堆参数。我的经验是按任务分层配置：

实际系统里我推荐路由架构：先用小模型做一轮分诊，判断这个请求属于简单抽取还是复杂推理，简单请求小模型直接处理，复杂请求才路由到大模型。实测下来，真实流量里八成以上是简单任务，这种路由能把平均成本压到原来的三分之一左右，而用户几乎感知不到差别。

尺寸选择还有个容易被忽略的点：多模态能力对参数量的要求比纯文本高。同样参数量下，纯文本模型可能已经很好用，多模态模型还在"看不懂图"的阶段。所以如果核心任务是影像理解，宁可参数量大一点、部署得笨重一点，也别为了省资源压到小规格。

3. 数据工程：医疗大模型真正的护城河

3.1 数据来源与合规边界

数据来源无非几类：公开的医学文献和教材、公开数据集、院内脱敏数据、合作方提供的数据。前面几类容易拿到但质量参差，院内数据质量高但流程复杂。这里必须强调一点：脱敏不是可选项，是前置条件。所有进入训练管线的数据，在落地存储之前就应该完成去标识化处理，包括姓名替换、日期偏移、机构信息抹除、影像上的文字标注擦除。日期偏移要特别小心——很多人只改了年份，月份和日期没动，结果通过"某年某月做了一次手术"这种信息仍然能反推到个人。正确做法是对每个患者生成一个随机偏移量，所有日期统一按这个偏移量平移，保持时间间隔不变。

3.2 影像-报告配对数据的构建

这是多模态训练最核心的数据，也是最难搞的。直接从影像归档系统导出的报告，问题一大堆：模板套话占了大半（"双肺纹理清晰，未见明显异常"这种描述对训练几乎没有信息量）、阴性报告远多于阳性、报告和影像的时间戳对不齐、一份报告对应多组影像。

我的处理流程是四步：

1. 时间对齐：以检查时间戳为准，允许一定窗口内的匹配，超出窗口的直接丢弃。宁可少要，不要错配——错配的数据比没有数据更有害。
2. 模板剔除：用规则加模型双重过滤，把纯模板化的报告识别出来降权。判断标准可以看报告里是否有具体的定位、尺寸、形态描述。
3. 阳性均衡：阴性样本不能全扔（模型需要学会说"未见异常"），但要控制比例，通常阳性样本上采样到与阴性接近。
4. 字段抽取：把自由文本报告抽成结构化字段（部位、病灶类型、大小、边缘、密度、结论），训练时既可以用原文，也可以用结构化字段做辅助监督。

第三步的比例控制，我踩过坑。一开始为了省事，阳性阴性各一半，结果模型学会了"过度报警"——给张正常的片子也硬找出点问题来。后来把阴性比例调回去，同时加入一批"明确正常"的高质量样本作为对照，误报率才降下来。这个经验说明：数据配比不是凭感觉定的，要盯着下游指标调。

3.3 文本数据的清洗与质量控制

文本数据的量看起来充足，但真正高质量的部分不多。我一般按这几层筛：

• 去重：不只是精确去重，还要做近重复检测。医学文献里大量内容是被反复改写转载的，同一篇指南可能有十几个版本散落在各处，不去重会导致模型对某些表述过度自信。用基于 n-gram 哈希的近似去重就够了，不必上复杂方案。
• 质量分类：训练一个轻量分类器，判断文本是"专业内容"还是"科普水文"。判断特征包括术语密度、引用规范、是否有具体数值和单位。这一步能砍掉大量噪声。
• 隐私残留检查：脱敏之后仍要做一轮扫描，用规则匹配可能的残留标识信息。
• 格式统一：把各种奇怪的编码、表格、脚注统一成干净的结构化文本。

这里有个反直觉的经验：数据不是越多越好，是要配比合理。我曾经把一个数据源从占比 10% 提到 30%，总数据量翻倍，结果模型在特定任务上的表现反而下降了。原因是那个数据源的表达风格太单一，占比一高就把模型的语言习惯带偏了。后来固定了配比，效果稳定得多。

3.4 数据配比与课程式训练

配比这件事没有万能公式，但有几个原则可以遵循：

第一，多模态数据和纯文本数据的比例要跟任务目标挂钩。如果核心目标是影像报告生成，多模态数据占比要显著提高；如果只是想让模型懂点医学常识，纯文本就够了。

第二，保留一定比例的通用数据做"回放"。全用医疗数据训练，模型会丧失通用语言能力，输出变得生硬、不理解复杂指令。一般保留百分之十到二十的通用语料做混合，能有效缓解灾难性遗忘。

第三，课程式安排。训练早期用相对简单、干净的数据，让模型先建立基础；中后期逐步引入复杂病例、长文档、多模态混合样本。这个安排模拟的是人的学习过程，实测能加快收敛，也能减少后期的性能震荡。

一个可直接参考的配置片段：

data_mix: medical_text: 0.42 medical_image_text: 0.30 medical_waveform: 0.08 medical_tabular: 0.05 general_replay: 0.15 curriculum: stage_1: max_seq_len: 8192 sample_filter: "single_turn && short_doc" stage_2: max_seq_len: 32768 sample_filter: "multi_turn || long_doc" stage_3: max_seq_len: 131072 sample_filter: "multi_image || full_record"

3.5 评测集构建：别用同源数据自欺欺人

这是最容易被忽略、也最容易出事的一环。很多团队从训练数据里随机切一部分当验证集，指标很好看，上线就崩。原因是同源数据存在泄漏：同一个患者的不同次检查、同一份报告的改写版本、同一个科室的表达习惯，都会让模型"见过类似的"。

正确的做法是按患者划分而不是按样本划分，同一患者的所有数据只能出现在训练集或测试集之一。更严格的做法是按时间段划分：用较早的数据训练，用较晚的数据测试，这样还能顺带检验模型对分布漂移的鲁棒性。此外，测试集要包含一定比例的长尾病种和疑难病例，否则测出来的都是常见病上的表现。

评测集还要有"对抗性"样本：故意设计一些容易诱导模型出错的输入，比如描述里带矛盾信息、影像和文字结论不一致、问一个不存在的药物相互作用。这类样本能暴露出模型是真懂还是在猜。

4. 训练流程实操：从基座到临床可用

4.1 三阶段训练路线

完整流程我一般分三段走，每段的目标、数据、评估方式都不同。

第一阶段：领域继续预训练。目标是把医学知识灌进参数里。用大规模医学文本加多模态配对数据，以自回归方式训练。学习率要比通用预训练低一到两个数量级，通常从基座的十分之一开始，用余弦衰减。这一步最烧算力，也最容易被低估——很多团队想跳过这步直接微调，结果模型在专业术语和概念体系上始终差一口气。

第二阶段：监督微调。目标是把能力"对齐"到具体任务上。数据是人工标注或从高质量来源整理的任务样本，包括影像报告生成、病历摘要、问答对、鉴别诊断推理链。这一步数据量不需要很大，但质量要求极高，一条脏数据的影响可能抵得上十条好数据。我的经验是这一步的数据要人工过一遍，特别是涉及数值、单位、左右侧的样本，错一条都可能让模型学到坏习惯。

第三阶段：偏好对齐与自训练。目标是提升输出的可靠性和有用性。方法有两类：一类是人工标注偏好对，让模型学会"哪种回答更好"；另一类是用模型自己生成候选，通过多数投票、规则校验、工具验证来筛选出可靠样本，再拿来训练。后者就是自训练的核心思路，在医疗这种标注昂贵的领域价值特别大。

4.2 关键超参设置与经验值

这块直接给一张表，都是我在实际项目里反复调过的区间，具体值要根据模型规格和数据量调整：

几个需要特别注意的点：

学习率不要贪大。医疗数据的分布和通用语料差得远，学习率一大模型会快速过拟合到少量高频模式上，表现为输出高度模板化。我一般从小值开始试，宁可训得慢一点。

序列长度要渐进。直接从短序列跳到超长序列，模型会不适应，损失曲线剧烈震荡。正确做法是分阶段拉长，每段训一段时间，让注意力机制逐步适应。

批大小和效果的权衡。大 batch 训练稳定但泛化可能略差，小 batch 噪声大但有时效果更好。医疗任务数据量本来就不大，我倾向用中等 batch 加梯度累积，兼顾稳定和显存。

4.3 多模态对齐的具体做法

原生多模态的关键在于让不同模态的表征"对齐"。常规做法是在视觉编码器和语言模型之间加一个投影层，把视觉特征映射到语言模型的嵌入空间，训练时冻结视觉编码器，只训投影层和语言模型（或者用低秩适配的方式微调一部分）。等基础对齐稳定后，再解冻更多层做联合训练。

这里有个实操细节值得说：对齐阶段的数据要"图文强相关"。如果拿一份泛泛的影像报告配一张片子，报告里大半内容讲的是临床病史，模型很难学到像素和术语的映射。应该优先选那种描述高度依赖影像本身的样本，比如"右肺上叶见一 1.2cm 磨玻璃结节，边缘见分叶"这种，每个词都能对应到画面上的具体位置。

还有一个技巧是局部对齐，不只做整图-整段的对齐，还做区域-短语的对齐。做法是用分割模型或者人工标注框，把影像中的病灶区域和报告里的对应描述配对，训练时让模型学会把注意力落到正确的位置。这一招对报告生成的准确性提升很明显，代价是需要额外的标注。

4.4 工具调用：把算不准的活外包出去

医疗场景里有一类任务是模型天生不擅长的：精确数值计算（药物剂量、评分量表）、空间测量（病灶体积变化）、实时信息查询（最新指南推荐）。硬让模型自己算，它会给一个看起来合理但错得离谱的数字。正确的做法是把这些能力做成工具，让模型学会"什么时候该调用"。

工具集的典型组成：

• 检索工具：查权威指南、药品说明书、最新文献。关键是检索源要可信，不能让模型随便搜网络。
• 计算工具：各种临床评分、剂量换算、单位转换。输入输出格式要严格定义，避免模型传错参数。
• 专用模型工具：影像分割、病灶检测、心电分析。模型负责理解意图和整合结果，具体测量交给专业模型。
• 校验工具：把生成的报告再过一遍规则引擎，检查左右侧、数值范围、术语一致性。

训练模型调用工具，核心是构造"什么时候调、怎么调、怎么用结果"的样本。我的经验是要包含大量不该调用的负样本——很多模型学会调用工具之后就滥用，明明一个简单的概念问题也要去检索一遍，白白增加延迟。负样本让模型学会判断边界。

4.5 长上下文训练的几个实操技巧

长上下文训练最烧资源，有几个技巧能省不少：

位置插值与渐进扩展。不要一步到位训到目标长度，先在短长度上训好，再用位置插值把窗口扩开，逐步增加。这样既省算力，效果也更稳。

关键信息前置。虽然训练时不该假设信息位置，但在构造样本时可以有意把关键信息放在不同位置，让模型学会在全窗口内检索。如果所有样本的关键信息都在开头，模型就学不会看中间。

分段注意力与稀疏化。长序列用全注意力显存吃不消，可以考虑分块处理或者稀疏注意力，代价是可能损失一些长距离依赖。这个取舍要看任务：如果任务是"从长文档里找一条信息"，稀疏化影响不大；如果是"综合全文做推理"，就要谨慎。

推理阶段做上下文压缩。实际部署时不必把原始长文档全塞进去，可以先用小模型做一轮摘要和关键信息提取，把几万字压到几千字，再喂给大模型。这个两阶段方案在延迟敏感的场景里很实用。

5. 评测与临床验证：怎么证明它真的有用

5.1 三层评测体系

我把评测分成三层，缺一层都不算完整。

第一层是自动化基准测试。用公开的医学问答、影像分类、报告生成基准跑一遍，这个主要用来横向对比和回归检测——每次模型更新都跑一遍，确保没有性能倒退。但这一层的分数只能参考，不能当作上线依据。

第二层是专家盲评。让有经验的医生在不知道哪个是模型输出的情况下，对模型和人类基线（比如低年资医生写的报告）做对比打分。评分维度要拆细：事实准确性、完整性、术语规范性、临床可用性。我做过的盲评里，最有价值的反馈往往不是分数，而是医生指出的具体错误类型，那些直接指向训练数据或对齐环节的问题。

第三层是前瞻性真实场景验证。在小范围真实流程里试用，观察它是否真的改变了工作流、节省了时间、有没有引入新的风险。这一层最难做但最能说明问题。我见过模型在离线评测里全面超越基线，上线后发现医生根本不用——因为输出格式和他们的工作站不兼容，或者生成速度跟不上阅片节奏。

5.2 报告生成任务的评测细节

报告生成不能只看文本相似度指标。BLEU、ROUGE 这类指标衡量的是字面重合，而医学报告里"未见异常"和"未见明显异常"字面差别很小、临床含义一样，指标却可能给出不同分数；反过来，"右肺上叶结节"和"右肺下叶结节"字面只差一个字，临床含义天差地别，指标却几乎不惩罚。

更合理的做法是临床有效性评估：把报告拆成若干关键要素（解剖位置、病灶属性、尺寸、印象结论），逐项比对。位置错了算严重错误，尺寸误差在允许范围内算正确，术语换用同义词算正确。再结合专家对"是否会导致临床决策改变"的判断，形成一个综合分。

我自己用的一套简化流程是：先用规则抽取要素做粗筛，把明显错误的样本挑出来；剩下的做人工抽检，抽检比例不低于百分之十；抽检中发现的错误类型做归因分析，回流到数据或训练环节。

5.3 幻觉的量化与抑制

医疗场景的幻觉代价太高，必须量化。我的做法是分类型统计：

抑制幻觉最有效的手段不是让模型"更谨慎"，而是结构上不给它犯错的机会。比如报告生成任务，强制模型先输出结构化的发现（每个发现都有位置、属性、尺寸），再基于结构化结果生成结论段落，这样每一步都可验证。再比如问答任务，要求模型在回答里标注依据来源，没有依据的部分明确说"信息不足"，而不是硬编一个答案。

6. 常见问题与排查实录

6.1 训练不收敛与模态塌缩

现象：训练损失正常下降，但一测试就发现模型完全忽略影像输入——把图片换成噪声，输出几乎不变。

原因：模型发现只靠文本就能拟合大部分训练目标，于是把视觉通路"关掉"了。数据里文本和影像的相关性不够强、或者文本信息过于充分（比如报告里已经把结论写全了），都会导致这个结果。

排查方法：做一个简单的对照实验，同一批样本，一次正常输入，一次把影像替换成随机噪声，比较输出差异。差异很小就说明模态塌缩了。

解决：一是提高图文强相关样本的比例；二是训练时对纯文本通路做随机遮挡，逼模型用视觉信息；三是调整损失权重，对依赖影像的样本加大权重。我用过最直接的办法是构造一批"只看文字答不出来"的样本专门训练，效果立竿见影。

6.2 输出格式漂移

现象：微调初期输出格式很规范，训着训着开始自由发挥，结构化字段缺失、段落顺序乱掉。

原因：通常是数据里格式不一致导致的。手工整理的样本格式规范，但从系统里批量导出的样本格式乱七八糟，模型学到了混乱的分布。

解决：训练前做严格的格式归一化，所有样本统一成同一套模板；微调时对格式错误的输出给予惩罚；推理阶段加一层输出解析和重试机制，解析失败就重新生成。我在生产环境里一直保留这层解析器，它拦住的问题比想象中多。

6.3 长尾病种效果差

现象：常见病表现优秀，罕见病一问三不知或者胡编。

解决思路分两条腿走：数据侧对长尾做上采样，同时用数据增强（同义改写、跨机构样本混合）扩充样本；模型侧强化检索增强，把罕见病的权威知识做成可检索的知识库，让模型在遇到不确定的病种时先查再答。后者见效更快，也更可控，因为知识库可以随时更新。

还有一个技巧是显式的"不确定"训练。在训练数据里加入一批模型应该回答"信息不足，建议进一步检查"的样本，让模型学会在知识边界外收敛，而不是强行编造。

6.4 推理成本超预算

现象：效果达标了，但单次推理成本是预算的三倍，延迟也满足不了临床节奏。

解决：按优先级依次尝试——量化（INT8 通常能省一半显存，精度损失可控）、蒸馏（把大模型能力迁到中等规格）、路由（简单请求走小模型）、缓存（相同或相似的检索结果复用）、批处理（离线任务合并推理）。这几招组合下来，成本压到三分之一很常见。要注意的是量化对多模态模型的影响比纯文本大，视觉编码部分建议保留高精度。

6.5 问题速查表

7. 落地部署与几条实操心得

7.1 部署形态的选择

医院环境的部署有两个硬约束：数据不出院、算力有限。这两条决定了大部分场景要走本地化部署。本地部署的现实是，你拿不到最新最强的硬件，所以要提前做模型瘦身规划：量化、剪枝、算子优化，一套组合拳打下来，中等规格的模型在单机上跑出可接受的延迟是完全可行的。

对于确实需要大模型的复杂任务，可以走异步：医生提交一个复杂病例分析请求，后台排队处理，几分钟后出结果，而不是要求实时响应。这种设计在实际使用中接受度很高，因为复杂分析本来就不是秒级需求。

7.2 人机协同的界面设计

这一块经常被技术人员忽略，但它直接决定了模型有没有人用。几条经验：

第一，输出要可追溯。模型给出的每条结论，要能点开看到依据（哪段病历、哪张影像的哪个区域）。做不到追溯的输出，医生不敢用。

第二，要允许快速修正。生成的报告要能一键修改，而且要记录修改痕迹——这些痕迹是极好的训练数据，能告诉你在哪些地方模型和医生的判断有分歧。

第三，明确能力边界。界面上要清楚标注这是辅助建议，哪些结论需要人工确认。含混不清的定位会带来风险，也会让医生不信任。

7.3 我在实际项目里的几条体会

第一条，先把数据管线做扎实，再谈模型。我见过太多项目在模型架构上反复折腾，最后发现瓶颈在数据质量和配比上。数据管线做得好，中等模型也能出好效果；数据管线烂，再强的基座也救不回来。

第二条，评测集要当成产品来维护。它不是一次性的东西，要持续扩充、持续更新，每次发现新的错误类型就往里加样本。一个维护良好的评测集，价值不亚于训练数据。

第三条，不要追求全场景覆盖。医疗场景太宽，一个团队不可能什么都做。选一两个高频、高价值、边界清晰的任务做深，比铺开十个半成品强得多。我自己的选择顺序是：先做信息抽取和结构化（风险低、见效快、能积累信任），再做报告生成（价值高、可验证），最后才碰诊断辅助（风险高、需要长期验证）。

第四条，留出人工兜底的余量。任何自动化环节都要有"转人工"的通道，而且这个通道要足够顺畅。系统设计时假设模型会出错，比假设它不会出错要安全得多。

最后分享一个具体的小技巧：模型上线前，我习惯做一次"沉默测试"——让模型在后台跑一段时间，输出不展示给任何人，只是和医生的实际判断做比对，统计分歧率和分歧类型。这个阶段通常要跑两到四周，能发现很多在离线评测里看不到的问题，比如特定班次的数据质量异常、特定设备型号的影像偏差。等分歧率稳定在可接受范围，再逐步放开使用范围。这个做法看起来慢，但比上线后出问题再回滚要快得多。