80B 参数只花 3B 算力，这个俄罗斯开源大模型很香，但微调前不查这三处，显卡钱真会白烧

【免费下载链接】AliceAI-Foundation-80B-A3B-Base项目地址: https://ai.gitcode.com/hf_mirrors/yandex/AliceAI-Foundation-80B-A3B-Base

最近开源圈有个挺特别的新面孔：俄罗斯 Yandex 把自家的大模型 AliceAI-Foundation-80B-A3B-Base 放了出来。

它有多能打？官方晒出的成绩单里，俄语事实问答这一项拿了 86.5 分，把同台的 Qwen3.5-35B-A3B、GLM-4.5-Air、DeepSeek-V4-Flash 都压了一头；数学题 MATH-500 拿到 91.1 分，美国数学邀请赛 AIME 2026 更是顶到 96.7 分。

看到这儿，不少团队的第一反应是：赶紧下下来，用自己的行业数据微调一把。

然后，坑就来了。

有人改了两行配置，模型直接罢工；有人把数据喂进去，loss 纹丝不动；还有人好不容易训完，发现原来的“加速外挂”失灵了。

问题基本都出在三处：配置文件的硬性门禁、分词器的几个隐藏约定、以及最后那两个权重分片里的 MTP。

今天不讲代码、不聊公式，就用大白话把这三道坎说明白。

一、先搞懂它是个啥：一家有 512 位专家的公司

你可以把 AliceAI 想象成一家超大的咨询公司。

公司名册上挂着80B 参数，也就是 800 亿个“员工”。但每次接到任务，并不是全员开会，而是只叫醒10 位专业对口的专家，再加 1 位啥都懂一点的“通才”，一共约3B 参数干活。

这就是 MoE（混合专家）架构的精髓：名册很厚，出场很少，所以又快又省钱。

它的办公室有 48 层。每 4 层里有 3 层是“快速浏览区”，负责扫读大量文字；剩下 1 层是“逐字精读区”，专门抠细节。这样搭配下来，它能一口气读完26 万字左右的内容，差不多是一本三百多页的书。

代价是体积：整套权重 162GB 左右，被切成了 49 个文件，每个文件接近 4GB。这注定不是笔记本能干得动的活儿。

还有一个关键背景：它是基座模型，不是那种打开就能聊天的成品。没有做过对齐，没有客服话术，你问它一句，它可能接着你的话往下编，而不是乖乖回答。想让它当“员工”，必须自己微调。

而微调之前，先过这三道关。

二、第一关：配置文件是“海关安检”，不是“建议清单”

很多人微调别的模型时习惯了“随便改改”，到这儿会立刻撞墙。

这个模型的配置在加载时会做一轮硬校验，不合格直接报错，连加载的机会都不给：

• 专家路由的打分方式，只能是 sigmoid。你想换成常见的那种 softmax？不行，直接拒绝。这就像安检口只认一种证件，换个样式一律不放行。
• 注意力头数必须能整除：16 个查询头要能被 2 个 KV 头整除，线性注意力那边 32 个也要能整除，除不尽就报错。
• 每层是什么类型，必须和层数一一对应。48 层，就得写满 48 条记录，而且只允许两种类型：快速浏览型、精读型。
• 还有一些看着不起眼的小限制：卷积核不能小于 2，分块大小必须是正数，每次激活的专家数必须在 1 到 512 之间。

最容易翻车的是这个场景：

你想省显存，把 48 层砍成 24 层，但那张“48 条类型记录”的表忘了改——报错。

你要是干脆把整张表删了，它会自动按“每 4 层 1 层精读”重新生成一份，配置是合法了，可跟原始权重对不上了，模型直接变成“失忆状态”。

还有两个容易忽略的细节：

第一，专家是“打包存放”的。512 个专家的权重并没有分成 512 个独立文件，而是压成了两大块整体张量。有些转换工具是按“一个一个专家”去找的，找不到就报错，或者悄悄漏掉一大片。

第二，路由里有一张“调节表”。512 个专家，如果放任模型自己挑，很容易出现几个明星专家被挤爆、其余专家闲得发慌的情况。所以模型里额外放了一个可学习的偏差值，专门用来“调岗”，让活儿分得均匀些。

这个偏差值在技术上属于“缓存”而不是“权重”，很多转换脚本、合并脚本会把它当垃圾丢掉。结果就是：模型能跑，但回答变得前言不搭后语，你还以为是数据的问题。

三、第二关：分词器的三个“暗约定”，改一个就前功尽弃

分词器，就是模型眼里的“断句规则”。同样一句话，断得不一样，模型理解的就完全不是一回事。

这个模型用的是 LlamaTokenizer 那一套，文件看起来平平无奇，但里头埋了三个约定。

约定一：有个开关被故意关掉了，别手贱打开。

配置里有个叫 legacy 的选项，官方明确设成了关闭，还专门写了一句：不要改成开启。

为什么？因为一旦打开，空格的处理方式就变了。你写“你好 世界”和“你好世界”，在模型眼里就成了两种不同的输入。训练时是一种断法，推理时是另一种断法，模型会觉得你在说外语。

这就像两个人对暗号，一个人说“天王盖地虎”，另一个回“宝塔镇河妖”没问题；你非要改成“天王盖地虎啊”，对方就懵了。

约定二：它没有“占位符”，你得自己准备。

这个分词器有句首标记、有句尾标记，但没有专门用来补齐长度的填充标记。

单条推理时无所谓，可一旦批量训练，几条长短不一的句子要凑成一样长，就必须有个东西填空。官方示例里是临时拿句尾标记顶上去的。

如果你不管，要么直接报错，要么填进去一堆乱七八糟的符号，模型学着学着就学歪了。

约定三：那个“最大长度”数字，是个摆设。

配置里写着最大长度是个天文数字，比宇宙原子数还夸张。它只是“没设上限”的意思，千万别拿它当截断依据。

真正的做法是：自己定长度。不设的话，一条超长样本就能把显存吃干净，然后你看着显卡报错怀疑人生。

最狠的一刀，是对话模板。

官方故意没有把对话模板注册进分词器配置里。理由说得很直白：这是基座模型，它不该有“默认聊天格式”。

他们训练时用的模板，长这样：角色前缀是user:和assistant:，推理过程用一对标记包起来，工具调用另有一套标记，连工具说明的开场白都是俄语。

重点来了：这些标记在词表里只是普通词汇，不是特殊符号。

意思是，你用常规的“套模板”接口，要么报错说没有模板，要么套出一个完全不同的格式。模型看到的就是一份“格式陌生的稿子”，效果自然一塌糊涂。

很多人微调完发现“模型变笨了”，其实不是变笨，是它一直在用错误的格式读你的数据。

四、第三关：最后两个分片里，藏着它的“抢答外挂”

打开权重索引表，你会看到 1307 个张量被安排进 49 个文件，总大小 162.6GB。

前面的 47 个文件，装的都是主干。第 48、49 个文件里，除了最后的输出层，还装着一样特别的东西——MTP。

MTP 可以理解成模型自带的“抢答器”。

正常生成文字，是一个字一个字往外蹦。有了它，模型可以先一口气猜出后面两个词，再一次性验证。猜对了就白赚，猜错了就回退，反正不亏。社区里的实测帖显示，开启后能有1.2 到 1.8 倍的加速，而且不掉精度。

关键在于：这个抢答器是训练时就长在模型身上的，不需要额外再挂一个小模型，这也是它比很多“外挂式加速”省事的地方。

但微调的时候，麻烦就来了。

官方的训练脚本在加载模型时，会主动把 MTP 这部分权重忽略掉——它被当成“多余的零件”。这很合理，因为微调只想动主干。

于是问题出现了：你把主干调教成了行业专家，抢答器还停留在出厂状态。它猜的东西跟新模型对不上，接受率一路下滑，原本 1.5 倍的加速，可能只剩一点点。

所以微调完做评测时，建议先关掉投机解码，单独看模型本身的水平；不然你分不清是模型不行，还是抢答器拖了后腿。

还有两个实操提醒：

别为了省硬盘删掉最后两个分片。有人一看“这两个文件才装 26 个张量，是不是可以砍掉”，一刀下去，输出层和抢答器一起没了，模型直接变成哑巴。

转换格式后一定要重建索引表。索引表就是一张“哪块砖在哪个箱子”的清单，箱子重新码过了、清单没更新，加载时就会到处找不着。

五、想上手？先看看自己的家底

说句实在话：这东西跟普通人的笔记本没关系。

162GB 权重，官方示例直接点名要4 张 80GB 显卡，还得用上 FSDP2 这种“把模型拆开分给四张卡扛”的技术。它的省显存加载模式也挺有意思：只有主进程真的把权重搬进内存，其他几个进程先搭个“空壳子”，之后再把分到的部分填进去。

也正因为是“空壳子”，有两个小零件必须手动补回去：一个是位置编码用的那张“坐标表”，一个是前面提到的专家调节表。不补，模型要么位置感错乱，要么专家乱派活，训练 loss 会呈现出一种“说不清哪里不对”的诡异曲线。

那普通团队怎么玩？

• 只想体验：走云上按小时租卡，或者用现成的在线推理服务，跑几条俄语问题感受一下。
• 想正经微调：官方的 LoRA 示例只动了注意力那四个部位，专家层和线性注意力层全部冻结。好处是省显存、不容易训崩；坏处是改不动“知识库”，只能调风格和表达习惯。真要做行业知识注入，得自己扩一下微调范围。
• 谁最该关注：做俄语区市场的电商、客服、内容平台，以及需要啃超长文档的研究团队。26 万字上下文这个能力，配上它扎实的俄语事实功底，确实是目前开源里比较少见的组合。

顺带一提，官方自己的定位也很坦诚：这是预训练基座，不是能直接上线卖的产品，正式使用前该做的微调、评测、护栏，一样都不能少。跑分也是官方口径，看看就好，自己的场景还得自己测。

六、写在最后

这两年开源大模型卷得飞起，大家的注意力都在“多少 B”“跑分多少”。

但真正落到干活，决定成败的往往是这些不起眼的地方：一个开关的默认值、一张被忽略的调节表、两个被当成垃圾的分片。

它们不性感，却直接决定你几千块的显卡时长是换来一个能用的模型，还是换来一夜的报错日志。

最后想问问大家：如果你手上有一块能跑大模型的卡，你最想微调出一个什么“私人专家”？是懂你行业黑话的助手，还是能一口气读完几百页合同的审阅员？评论区聊聊。

【免费下载链接】AliceAI-Foundation-80B-A3B-Base项目地址: https://ai.gitcode.com/hf_mirrors/yandex/AliceAI-Foundation-80B-A3B-Base