1. 为什么 Caffe 转 Pytorch 总在权重映射这一步翻车

Caffe 转 Pytorch 这件事，说难不难，说简单也真不简单。我见过太多人卡在同一个地方：网络结构照着 prototxt 抄完了，forward 也能跑通，但一加载 caffemodel 的权重，输出就和原模型对不上。问题往往不在代码写错，而在层与层之间的映射关系没理清楚——尤其是 BatchNorm 和 Scale 的拆分、In-Place 操作的数据流向、以及 Eltwise 这类逐元素算子的对应写法。

这篇要解决的就是这个工程落地问题：从 prototxt/caffemodel 解析开始，把算子映射、权重搬运、state_dict 重建、逐层数值比对串成一条能一次跑通的链路。适合谁看？手上有老 Caffe 模型、想迁到 Pytorch 做微调或部署的算法工程师；也适合正在做模型复现、需要逐层校验误差来源的同学。

整个流程里，除了本地跑转换脚本，还会涉及调用模型做推理验证。这时候如果每个模型都单独配一套 Key 和 Base URL，管理起来很乱。我的做法是用 TaoToken 的统一 API 通道来管这些调用，一个 Key 走通转换后的推理验证，省得在多个配置之间来回切。下面按步骤来，代码都能直接复制。

2. 转换前的环境准备与 TaoToken 统一 Key 配置

动手写转换脚本之前，先把两件事办了：一是本地环境，二是调用通道。环境这块，Pytorch 装好、能 import caffe 或者用 protobuf 解析 prototxt 就行。如果你的机器上没装 Caffe，也不用硬装，直接用protobuf解析 prototxt 文本，再配合caffemodel的二进制读取就够了，后面会给读取权重的代码。

调用通道这块，我用 TaoToken 来统一管理。它的作用是给你一个统一的 API 入口，模型对话、编码类请求都走同一个 Key，不用为每个模型单独维护一套凭证。对转换这种需要反复做推理比对的任务来说，统一通道能省掉很多配置切换的麻烦。

先拿 Key。打开官网 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，注册后在控制台创建 API Key。控制台地址是 https://taotoken.net/console?utm_source=taotoken_aicg_blog_end&utm_content=console&utm_campaign=rewrite ，Key 管理页在 https://taotoken.net/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=api-keys&utm_campaign=rewrite 。创建完把 Key 存到环境变量里，别硬编码进脚本：

export TAOTOKEN_API_KEY="sk-你的key" export TAOTOKEN_BASE_URL="https://taotoken.net/api"

注意 Base URL 这里不加 UTM 参数，就是干净的https://taotoken.net/api。如果你用的是 OpenAI 兼容的 SDK，直接把 base_url 指过去就行。模型 ID 按你实际要验证的模型填，比如做编码类任务可以走 Coding Plan 通道，地址是 https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_content=coding-plan&utm_campaign=rewrite ，适合长期跑 Agent 或批量转换验证的场景。

配置写成一个config.json，转换脚本和验证脚本共用，避免两处不一致：

{ "base_url": "https://taotoken.net/api", "api_key_env": "TAOTOKEN_API_KEY", "model_id": "your-model-id", "timeout": 60 }

这里有个细节：api_key_env存的是环境变量名而不是 Key 本身，脚本运行时再读，这样配置文件可以进版本库，Key 不会泄露。实测下来这个习惯能避免很多「本地能跑、换台机器就 401」的问题。

环境依赖装这些：

pip install torch torchvision numpy protobuf openai

openai包用来走 TaoToken 的兼容接口做推理验证，protobuf用来解析 prototxt。如果你本地有完整 Caffe，也可以用caffe.Net直接读，但为了可移植性，下面统一用 protobuf 文本解析加手动读 caffemodel 的方式。

3. prototxt 解析与层映射配置表（含可复制 JSON 片段）

转换的核心是两张表：一张是 Caffe 层类型到 Pytorch 模块的映射，一张是权重名称的映射。先把 prototxt 解析出来，拿到每一层的 name、type、bottom、top 和参数。

解析 prototxt 最简单的方式是用caffe.proto编译出的 Python 模块，但很多人机器上没有。退一步，用正则做轻量解析也能覆盖大部分 deploy 文件。下面这个函数把每层拆成字典：

import re def parse_prototxt(path): with open(path, "r", encoding="utf-8") as f: text = f.read() # 去掉注释 text = re.sub(r"#.*", "", text) layers = [] # 按 layer { ... } 切块，简单括号计数 idx = 0 while True: start = text.find("layer {", idx) if start == -1: break depth = 0 i = start + len("layer") while i < len(text): if text[i] == "{": depth += 1 elif text[i] == "}": depth -= 1 if depth == 0: break i += 1 block = text[start:i + 1] layers.append(block) idx = i + 1 return layers

拿到每个 block 后，提取name、type、bottom、top。这里要特别注意 In-Place 操作：当 bottom 和 top 同名时，数据是原地覆盖的。转换时如果直接按名字连线，很容易把 concat 的输入接错——原 excerpt 里就踩过这个坑，prototxt 写的是nsum5，但实际参与 concat 的是经过 bn 和 relu 之后的nrelu6r。所以解析时要记录每一层的真实输出张量名，而不是只看 top 字段。

层映射配置表建议单独写成一个 JSON，脚本读它来建模块。这样换模型时只改配置，不动代码：

{ "layer_map": { "Convolution": "Conv2d", "Deconvolution": "ConvTranspose2d", "BatchNorm": "BatchNorm2d", "Scale": "scale_fold", "ReLU": "relu", "Eltwise": "add", "Concat": "cat", "Pooling": "pool", "InnerProduct": "Linear", "Softmax": "softmax" }, "param_map": { "num_output": "out_channels", "kernel_size": "kernel_size", "stride": "stride", "pad": "padding", "group": "groups", "bias_term": "bias" }, "weight_suffix": { "Convolution": ["weight", "bias"], "InnerProduct": ["weight", "bias"], "BatchNorm": ["running_mean", "running_var", "weight", "bias"] } }

Scale层单独标了scale_fold，因为 Caffe 的 BatchNorm 只做归一化，缩放平移在 Scale 层，而 Pytorch 的 BatchNorm2d 把这两步合在一起了。映射时要把 Scale 的 weight 和 bias 折叠进 BatchNorm 的 affine 参数里。如果原模型没有 Scale 层（像 SfSNet 那样），就把 BatchNorm 的 weight 初始化为全 1、bias 初始化为全 0，并且affine=True。

权重名称映射是另一个坑。Caffe 的 caffemodel 里，每层权重按层名_0、层名_1这种索引存，blob 顺序和 prototxt 里 param 声明的顺序一致。解析 caffemodel 时，用caffe.proto的NetParameter反序列化最稳：

import caffe_pb2 # 由 caffe.proto 编译而来 def load_caffemodel(path): net = caffe_pb2.NetParameter() with open(path, "rb") as f: net.ParseFromString(f.read()) weights = {} for layer in net.layer: blobs = [np.array(b.data).reshape(b.shape.dim) for b in layer.blobs] weights[layer.name] = blobs return weights

如果没有caffe_pb2，可以用protobuf手动编译一份caffe.proto，或者用caffe的 Python 接口读。拿到权重字典后，按层名和 blob 顺序往 Pytorch 的state_dict里填。

4. state_dict 重建与逐层数值比对验证

结构建好、权重读出来后，下一步是把权重塞进 Pytorch 模型，然后做逐层比对。比对的目的不是「跑通就行」，而是定位误差到底出在哪一层——是权重搬错了，还是算子语义不一致。

先建模型。以卷积加 BN 为例：

import torch import torch.nn as nn import torch.nn.functional as F class ConvBN(nn.Module): def __init__(self, in_c, out_c, k, s, p): super().__init__() self.conv = nn.Conv2d(in_c, out_c, k, s, p, bias=False) self.bn = nn.BatchNorm2d(out_c, affine=True) def forward(self, x): return F.relu(self.bn(self.conv(x)))

权重填充时，卷积的 weight 形状是[out_c, in_c, k, k]，Caffe 的 blob 形状是[out_c, in_c, k, k]，直接赋值即可。BN 的running_mean、running_var对应 Caffe BatchNorm 的第 0、1 个 blob，weight（γ）和bias（β）如果没有 Scale 层就设全 1 和全 0：

def fill_bn(bn, blobs): bn.running_mean.copy_(torch.from_numpy(blobs[0])) bn.running_var.copy_(torch.from_numpy(blobs[1])) if len(blobs) >= 4: bn.weight.data.copy_(torch.from_numpy(blobs[2])) bn.bias.data.copy_(torch.from_numpy(blobs[3])) else: bn.weight.data.fill_(1.0) bn.bias.data.fill_(0.0)

逐层比对的做法是：给 Caffe 和 Pytorch 喂同一份输入，在每一层输出处抓张量，算最大绝对误差和相对误差。Caffe 侧可以用caffe.Net的forward配合blobs取中间结果；如果本地没 Caffe，就先用 Pytorch 自己跑一遍，把每层输出存下来，再和转换前的参考输出比。参考输出可以从原 Caffe 模型导出成 npy，或者用原框架推理一次存下来。

比对脚本骨架：

def compare_layer(name, ref, out, atol=1e-4): ref = np.asarray(ref).ravel() out = out.detach().cpu().numpy().ravel() if ref.shape != out.shape: print(f"[SHAPE MISMATCH] {name}: ref {ref.shape} vs out {out.shape}") return False max_abs = np.max(np.abs(ref - out)) denom = np.maximum(np.abs(ref), 1e-8) max_rel = np.max(np.abs(ref - out) / denom) ok = max_abs < atol print(f"[{'OK' if ok else 'FAIL'}] {name}: max_abs={max_abs:.2e}, max_rel={max_rel:.2e}") return ok

实测下来，卷积和全连接层一般能到 1e-6 量级；BN 层因为 eps 和 momentum 的默认值差异，可能到 1e-4；如果某层误差突然跳到 1e-1 以上，基本就是权重搬错或者算子语义不对。常见的就是 Eltwise 的 SUM 写成了 concat，或者 Concat 的 axis 搞错——Caffe 的 axis=1 对应 channel 维，Pytorch 的torch.cat(dim=1)也是 channel 维，但输入顺序必须和 prototxt 里 bottom 的声明顺序一致。

推理验证阶段，把转换后的模型跑一遍，用 TaoToken 的统一通道调一次模型对话或编码接口做端到端确认。模型对话入口在 https://taotoken.net/models?utm_source=taotoken_aicg_blog_end&utm_content=models&utm_campaign=rewrite ，接入文档在 https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_content=doc&utm_campaign=rewrite 。调用时 Base URL 用https://taotoken.net/api，Key 从环境变量读，Model ID 填你配置里的值。这样转换和验证走同一套凭证，出问题也好排查。

5. 转换过程常见报错与排查对照

转换跑不通时，报错信息往往不直接指向根因。下面按真实遇到的报错整理一份对照表。

401 Unauthorized：调用 TaoToken 接口时出现，多半是 Key 没读到或者环境变量名写错。检查echo $TAOTOKEN_API_KEY是否有值，配置文件里的api_key_env是否和实际环境变量名一致。另外确认 Base URL 是https://taotoken.net/api，不要多加路径后缀。

local proxy failed / connection refused：这类是网络层问题，通常是本地代理配置干扰了请求。检查HTTP_PROXY、HTTPS_PROXY环境变量，临时 unset 掉再试。如果公司网络有出口限制，确认taotoken.net在允许列表里。

reading choices / KeyError 'choices'：解析接口返回时出现，说明返回体不是预期的对话格式。可能是 Model ID 填错，或者请求体字段名不对。打印完整 response 看结构，确认model字段和配置一致，messages格式符合文档要求。

OAuth / token expired：凭证过期或权限不足。重新在控制台生成 Key，确认账号状态正常。如果是 Coding Plan 通道，确认订阅还在有效期内。

state_dict 加载时 size mismatch：权重形状对不上。最常见的是卷积的groups参数没传，导致 weight 形状从[out, in/groups, k, k]变成[out, in, k, k]。对照 prototxt 里的group字段，在 Pytorch 模块里补上groups=。

BN 层输出偏差大：检查track_running_stats是否为 True，affine是否为 True。如果原模型有 Scale 层，确认 Scale 的 weight 和 bias 已经折叠进 BN，而不是被忽略。

Concat 维度错误：确认torch.cat的dim和 prototxt 的axis一致，且输入张量顺序和 bottom 声明顺序一致。In-Place 操作后的张量名要追踪清楚，别直接用 top 名去连线。

Eltwise 结果不对：Caffe 的 Eltwise 默认 operation 是 SUM，但有些模型会写 PROD 或 MAX。解析时把operation字段读出来，Pytorch 侧对应+、*或torch.maximum。

排查顺序建议从 401 和网络问题开始，这两类最容易误判成代码 bug。确认通道通了之后，再逐层比对定位数值误差。把每层的 max_abs 打出来，误差从哪一层开始变大，问题就在那一层附近。

6. 转换完成后的接入与长期使用建议

模型转换完、逐层校验通过之后，日常使用就是加载 state_dict 做推理或微调。这时候把调用通道固定下来，能省很多重复配置的功夫。

如果你只是偶尔验证一下转换结果，用模型对话入口手动测几次就够了。如果是要长期跑编码类任务、或者把转换后的模型接进 Agent 流程，走 Coding Plan 更合适，地址是 https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_content=coding-plan&utm_campaign=rewrite 。Key 和 Base URL 还是那一套，不用重新配。

接入文档在 https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_content=doc&utm_campaign=rewrite ，里面有完整的请求示例和字段说明。API Key 管理在 https://taotoken.net/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=api-keys&utm_campaign=rewrite ，建议给转换验证单独建一个 Key，方便按用途区分用量。

最后说个实用技巧：把转换脚本、层映射 JSON、比对脚本打包成一个目录，每次换模型只改配置不改代码。权重比对的结果存成日志，下次出问题直接翻日志定位，比重新跑一遍快得多。转换这件事，一次跑通不难，难的是下次换模型还能快速跑通——配置和代码分离就是为这个准备的。