复现 UVE-Bench 的 Qwen2-VL-72B 单视频评分时最先把人卡住的不是提示词设计而是模型通道Codex 默认走官方端点UVE 脚本一调就 401Base URL 多写一个 /v1又变成 404。后来我把 Codex 的 model_provider 指到 TaoToken——在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_content 创建一把 KeyBase URL 填 https://taotoken.net/api末尾不要加 /v1同一个评估脚本才真正跑起来。论文里说的「Qwen2-VL-72B 在统一 AIGV 评估上显著优于专项评估方法」不是装好模型就能复现中间隔的就是 API 接入这层细节。1. 复现 UVE 的 Qwen2-VL-72B 评估先卡在模型通道1.1 UVE 到底是做什么的视频生成模型VGM再新生成出来的画面仍可能出现主体穿模、运动不自然、和文本提示对不上等问题。UVE 想解决的不是某一个指标的改进而是让一个多模态大模型直接评估任意维度。做法是把评估维度写进提示词让 MLLM 零样本输出结果不需要针对每个维度重新训练一个专用评估器。它支持单视频评分和视频对比较两类任务。UVE-Bench 覆盖 15 个评估维度分为静态质量和时序质量等 4 大类包含 4042 组人类偏好标注以及 1230 个由 SOTA 视频生成模型产出的视频。论文实验调用了 18 个 MLLM结论是 Qwen2-VL-72B、InternVL2.5-78B 这一档模型在统一评估上明显好过 CLIP、DINO 加规则的传统方案但在需要细粒度理解时序动态的维度上仍落后于人类评估者。这两个结论在复现时会直接影响你对输出结果的判断某些维度分数偏低不一定是通道配置错了而是模型本身的理解上限就在那里。1.2 复现的常规步骤从仓库到评分复现这篇文章的实验大致顺序是克隆 bytedance/UVE 仓库、把 UVE-Bench 数据拉到本地、装好依赖、把模型端点配置进去、运行评分脚本。前面几步都很顺真正容易翻车的是“把模型端点配置进去”这一步。UVE 本身不训练模型它调用的是现成 MLLM所以脚本里必然要填 Base URL、API Key、模型 ID 三项。这三项任何一项不对后面的 15 个维度全部跑不了。更麻烦的是Codex 这类 AI 编程工具也有自己的一套模型配置如果你打算让 Codex 读仓库、生成评估命令、解释报错那 Codex 自己的模型通道也得先能通。2. 第一步不是写代码去 TaoToken 创建 Key2.1 创建 API Key 并复制准备材料只有两样一把能调 Qwen2-VL-72B 的 API Key以及模型广场上显示的模型 ID。打开 TaoToken注册登录后进入控制台创建 API Key把 Key 保存下来下文统一用 YOUR_API_KEY 代替。这把 Key 会同时用在 Codex 配置和 UVE 脚本里不用为每个工具分别申请。TaoToken 在这里扮演的是统一通道它不关心请求是从 Codex 发出来的还是从 UVE 脚本发出来的只要 Base URL 和 Key 正确都能路由到目标模型。对 UVE 这种需要连续跑十几个维度、还要换模型做对比的实验统一通道省下的不是推理时间而是来回切换配置的时间。2.2 模型 ID 不能照论文标题猜Qwen2-VL-72B 到具体平台上的模型 ID 可能带服务商前缀、版本号或日期后缀所以不要凭论文标题猜。去模型广场搜 Qwen2-VL-72B把列表里显示的实际 ID 完整复制下来再填进 Codex 的配置。Codex 在配置阶段不会校验模型名等真正发请求时才报 model not found所以这里不要凭印象手敲。后面每次换模型跑 ablation都重复这一步先到模型广场复制 ID再改配置。3. Codex 的 config.toml把 Base URL 指到 TaoToken3.1 model_provider 配置Codex 的模型入口是~/.codex/config.toml。先打开这个文件保留已有的配置在末尾添加一个自定义 providermodel qwen2-vl-72b # 复制 TaoToken 模型广场实际 ID 到这里 model_provider taotoken [model_providers.taotoken] name TaoToken base_url https://taotoken.net/api env_key OPENAI_API_KEYmodel_provider指向新加的 taotoken providerenv_key告诉 Codex 去环境变量OPENAI_API_KEY里取 Key而不是把 Key 明文写进配置文件。保存后在终端里导出 Key 再启动 Codexexport OPENAI_API_KEYYOUR_API_KEY codex进入 Codex 会话后先看/model输出确认当前模型确实是你在模型广场复制的那一个再继续下一步。如果环境变量里之前已经存在指向其他服务的OPENAI_API_KEY会被新的 export 覆盖这点在排障时会反复遇到。3.2 为什么 base_url 是 /api而不是 /api/v1TaoToken 的工具接入地址就是https://taotoken.net/apiCodex 会自动在这个 base_url 后面补上请求路径。如果你习惯性地写成/api/v1实际请求会打到https://taotoken.net/api/v1/chat/completions路由对不上返回 404 或 route not found。另外要注意Claude Code 用的是ANTHROPIC_BASE_URL、ANTHROPIC_AUTH_TOKEN、ANTHROPIC_MODEL这一套环境变量Codex 不读它们。Codex 只认 config.toml 里的base_url和env_key不要把两套配置交叉使用。我之前在 Claude Code 里配过同一把 Key切到 Codex 时顺手把 ANTHROPIC_MODEL 也 export 了结果 Codex 依然走自己 config.toml 的 model 字段完全没读到那个变量。4. Codex 读 UVE 仓库单视频评分跑通的关键4.1 让 Codex 先复述 UVE 的评估流程UVE 仓库结构对第一次接触的人来说不算复杂但直接让它生成命令容易跑偏。我建议第一步先让 Codex 读仓库不执行任何操作阅读 UVE 仓库 https://github.com/bytedance/UVE 的 README 和 eval 目录 说明 single-video scoring 的入口脚本、输入参数、以及模型端点配置的位置。 先不要执行任何命令。Codex 会给出仓库结构告诉你评估入口在哪、数据长什么样、模型请求怎么组装。这一步让 Codex 先把 UVE 的评估流程复述清楚视频由 VGM 生成维度由提示词给定MLLM 输出被映射成评分或偏好。等它复述对了再让它生成命令踩坑概率会小很多。4.2 生成单视频评分命令仓库结构摸清后给 Codex 下一条更具体的生成任务基于仓库里的脚本生成一条 Qwen2-VL-72B 单视频评分命令 Base URL 用 https://taotoken.net/apiKey 从环境变量 OPENAI_API_KEY 读取 模型 ID 使用我在 config.toml 里配置的 model 字段。 提示词里必须包含 subject consistency 维度的详细定义 并要求先输出 yes/no再映射为 1-5 分。 只生成命令不要执行。Codex 生成的具体命令以仓库实际脚本为准下面只是示意结构python eval/single_video.py \ --video ./examples/aigv_001.mp4 \ --dimension subject_consistency \ --template uve_single_yes_no \ --api_base $OPENAI_API_BASE \ --model $OPENAI_MODEL示意里的环境变量只是为了说明不要明文写 Key真实参数名和模板名以仓库脚本为准。命令生成后你在本地执行再把输出或报错贴回 Codex 会话继续调。这样 Key 不会出现在 shell 历史里Codex 也能根据报错信息针对性修改参数。4.3 视频对比较任务和提示策略单视频评分跑通之后视频对比较是同一个通道的另一种提示把两个视频和同一段维度描述放进 prompt让模型回答哪个更符合描述。论文里有个值得注意的结论对 7B 规模的 MLLM用单视频评分得到分数再转成 pairwise 比较比直接让模型二选一更稳Qwen2-VL-72B 这类大模型则可以直接比较。复现时如果某个小模型表现异常可以先检查是不是用了不适合模型规模的比较方式。提示词方面论文给出的经验是在 prompt 里写清楚维度的具体定义比只写一个维度名字有效得多。例如判断主体一致性时不要只给 subject consistency 这几个词而是描述“视频主体在不同帧之间是否保持外观、颜色、形状一致”。单视频评分建议用 yes/no 作为中间输出再映射成 1-5 分而不是让模型直接输出一个分数。这两条设定可以直接写进 Codex 的生成要求里。5. 验证先看评分输出再看 TaoToken 用量5.1 单视频评分和视频对比较的正常输出先跑单条命令确认输出格式。如果脚本按 UVE 的提示模板实现单视频评分会先输出 yes/no再映射为 1-5 分或脚本定义的分数区间视频对比较则输出 A/B 偏好或者包含偏好的完整句子。把第一次成功的结果保存下来后面批量跑 15 个维度时才有对照基线。批量跑之前先想清楚观察目标。论文已经给出结论Qwen2-VL-72B 在整体一致性、美感、文本对齐等维度表现较好在运动平滑度、时序一致性这类需要理解视频动态变化的维度上与人类评估者差距明显。如果你复现出的结果也呈现这个规律说明整个链路是通的模型 ID 也选对了。5.2 去控制台核对该次调用跑通后回 TaoToken 控制台看一眼 API Keys 页面的用量记录。如果能看到刚才请求对应的模型名和 token 消耗说明请求确实经过了 TaoToken 通道。如果控制台没有任何记录说明 Codex 实际请求没有走刚配的 base_url需要回到 config.toml 确认model_provider是否被其他配置覆盖或者当前终端是否加载了旧的环境变量。6. 排障UVE 复现前半小时最常见的三个错6.1 401 Unauthorized报错是 401 时优先查 Key。先执行echo $OPENAI_API_KEY看环境变量有没有值。如果输出为空说明当前终端会话里没有 export重新执行 export 再启动 Codex。也有可能是 Key 复制少了字符或者之前 export 过其他平台的 OPENAI_API_KEY 把值覆盖了回 TaoToken 重新复制一条替换后再试一次。6.2 404 或 model not found404 有两个常见来源。一是 base_url 写成了https://taotoken.net/api/v1改成https://taotoken.net/api。二是模型 ID 用的是论文里的显示名而模型广场的实际 ID 带版本后缀或服务商前缀。每隔一段时间模型列表会有更新每次换模型都去模型广场复制不要手敲也不要复用几个月前文章里的旧 ID。6.3 请求超时或连接被重置请求超时通常不是通道问题而是视频预处理没做好。UVE 这类视频评估任务如果直接把原始视频以 base64 塞进请求请求体可能大到几十 MB在长视频、长上下文推理时很容易超时。UVE 仓库一般会做抽帧或压缩预处理让 Codex 先读仓库里的 video preprocessing 相关脚本再把预处理命令和评分命令拼到一起执行比直接传原始视频稳定得多。7. 跑通之后把 Key、用量和后续实验放在同一个控制台7.1 从单视频评分扩展到完整实验单视频评分通了之后UVE 的后续实验基本就是换维度、换模型、换提示策略。每换一次只需要改 config.toml 里的model字段和 prompt 里的 dimension 描述Key 和 Base URL 不用动。15 个维度可以拆成几个 batch 跑每个 batch 结束看一次 TaoToken 控制台里的用量记录能快速发现哪一轮请求没发出去、哪一轮 token 消耗异常。如果后续要跑视频对比较就在同一个 Codex 会话里让 Codex 基于已跑通的单视频评分脚本生成 pairwise 版本的提示模板。通道配置一次到位剩下的是提示词和脚本参数的迭代。7.2 后续实验最顺的验证路径配完 Codex 后先在 TaoToken 模型对话 里用同一把 Key 发一条消息确认 Key 和模型 ID 都没问题要连续跑 UVE 这种几十次请求的实验再看 Coding Plan 是否比按量计费更合适Key 的创建和管理固定在 控制台 API Keys。如果你还同时用 Claude Code接入文档 里的环境变量对照表也值得存一份免得把 ANTHROPIC_* 和 OPENAI_API_KEY 混在同一套配置里。