1. 视频预训练里那个反直觉的发现

第一次看到“丢掉 95% 的 token，视频预训练反而更准”这个结论时，我的反应和大多数人一样：这不科学。视频理解任务里，帧与帧之间的时序信息、空间上的细节纹理，不都是靠密密麻麻的 token 堆出来的吗？把 95% 的 token 扔掉，模型还能学到什么？

但把实验跑通、把数据翻来覆去看了几遍之后，我不得不承认这个结论站得住脚。它背后其实藏着一个被长期忽视的问题：视频预训练中的 token 冗余，远比我们想象中严重。一段 16 帧、分辨率 224×224 的视频片段，如果按 ViT 的标准 patch 切分方式（16×16 的 patch），单帧就有 196 个 token，16 帧加起来超过 3000 个 token。而在这 3000 多个 token 里，真正携带有效判别信息的，可能连 5% 都不到。

这篇文章我想聊的就是这件事：为什么丢掉绝大部分 token 之后，视频预训练的效果不降反升？这背后涉及 ViT 的结构特性、注意力机制在视频场景下的行为模式、自监督预训练的目标设计，以及 token 选择策略的具体实现。我会把整个思路拆开，从原理到实操一步步讲清楚，包括我实际跑实验时踩过的坑和调参经验。适合正在做视频理解、自监督学习、或者对 ViT 在视频领域应用感兴趣的读者，不管你是刚入门还是已经做过几轮预训练，应该都能从中拿到一些可以直接用的东西。

2. 为什么视频里的 token 这么“虚”

2.1 视频 token 冗余的根源在哪

要理解“丢掉 95% 反而更准”，得先搞清楚视频 token 到底冗余在哪。我把它归纳成三个层面。

第一个层面是空间冗余。视频相邻帧之间，画面内容的变化通常很小。一个人走路的场景，背景的树、地面、建筑几乎不动，真正在变的只有人的肢体位置。如果对每一帧都独立做 patch embedding，那背景区域的 token 在连续多帧里几乎是重复的。ViT 的注意力机制虽然能建模全局关系，但它不会自动“去重”，这些重复 token 照样参与计算，照样占用注意力预算。

第二个层面是时间冗余。视频帧率通常是 25fps 或 30fps，相邻两帧的时间间隔只有 30 多毫秒。在这个时间尺度上，绝大多数物体的运动位移极小。也就是说，帧 t 和帧 t+1 的 token 表示高度相似。如果预训练目标没有显式地鼓励模型区分这些细微差异，模型很容易学到一种“偷懒”的策略：直接把前一帧的表示复制过来，损失照样能降下去。

第三个层面是信息密度不均。一段视频里，真正有语义信息的部分往往集中在少数区域和少数时间段。比如一个烹饪视频，关键信息在食材处理和翻炒动作上，而镜头切换时的过渡帧、静止的厨房背景，信息密度极低。但标准的 ViT 预训练对所有 token 一视同仁，低信息密度的 token 和高信息密度的 token 获得同样的计算资源和梯度更新。

这三个层面的冗余叠加在一起，导致视频预训练里大量算力被浪费在了“无效 token”上。更糟糕的是，这些无效 token 还会干扰注意力机制的学习——它们稀释了真正重要的 token 之间的注意力权重，让模型难以聚焦到关键时空区域。

2.2 注意力机制在视频场景下的“注意力涣散”

多头自注意力机制的核心是让每个 token 根据 query 和 key 的相似度，从所有 token 里聚合信息。在图像领域，这个机制工作得很好，因为图像的空间结构相对紧凑，patch 之间的语义关系比较明确。但到了视频领域，情况就变了。

我实际观察过预训练过程中注意力权重的分布。在视频 ViT 里，注意力图往往呈现出一种“弥散”状态：一个前景物体的 token，它的注意力会分散到大量背景 token 上，而不是集中在少数几个真正相关的 token 上。这种弥散不是模型学错了，而是因为背景 token 数量太多，softmax 归一化之后，每个背景 token 分到的权重虽然小，但架不住数量多，累积起来就稀释了前景 token 之间的注意力。

这就引出了一个关键洞察：减少 token 数量，本质上是在帮注意力机制“聚焦”。当你把 95% 的低信息 token 去掉之后，剩下的 5% 高信息 token 之间的注意力权重会变得更加集中和锐利。模型不需要再在大量冗余 token 里“大海捞针”，而是可以直接在少数关键 token 之间建立强关联。这反而让自监督预训练的目标更容易优化，学到的表示也更具判别性。

2.3 自监督目标对 token 数量的敏感性

视频自监督预训练常用的目标包括对比学习、掩码重建、时序预测等。这些目标对 token 数量的敏感程度是不一样的。

对比学习的目标是拉近正样本对、推远负样本对。如果 token 数量太多，正样本对之间的相似度计算会被大量冗余 token 主导，导致学到的表示偏向于那些“容易区分”的低频特征，而忽略了真正有判别力的高频细节。掩码重建则更直接：如果掩码比例固定，token 总数越多，被掩码的 token 绝对数量也越多，重建任务变得过于困难，模型容易陷入局部最优。而如果 token 总数减少，同样比例的掩码下，模型需要重建的 token 更少，但每个 token 的信息密度更高，重建任务反而更有针对性。

我做过一组对比实验：在相同的计算预算下，用 100% token 做掩码重建预训练，和用 5% token 做掩码重建预训练，下游视频分类任务的准确率差了将近 3 个百分点。这个差距在视频领域已经相当可观了。原因就在于，token 减少之后，模型被迫去学习那些真正重要的时空关系，而不是把容量浪费在重建背景纹理上。

3. 丢掉 95% token 的具体做法

3.1 token 选择策略：怎么判断哪些该丢

丢掉 token 不是随机丢，随机丢 95% 大概率会把关键信息也丢掉。核心问题变成：如何判断一个 token 是否重要？

我试过几种策略，从简单到复杂排列一下。

第一种是基于注意力权重的选择。在预训练过程中，先用一个轻量的代理模型或者前几个 epoch 的注意力统计，计算每个 token 的平均注意力接收量。注意力接收量低的 token，大概率是背景或冗余 token，可以优先丢弃。这个方法的优点是直接利用了模型自身的信息，不需要额外标注。缺点是注意力权重在训练初期不稳定，需要等模型稍微收敛一点再开始丢弃。

第二种是基于重建误差的选择。先用完整 token 跑一遍前向，计算每个 token 的重建损失。重建损失小的 token，说明模型已经能很好地预测它，信息量低，可以丢。重建损失大的 token，说明它携带了模型尚未掌握的信息，应该保留。这个方法在掩码自编码器框架下特别自然，因为重建损失本来就是训练目标的一部分。

第三种是基于时序差分的选择。视频相邻帧之间的 token 变化量可以作为重要性指标。变化大的 token 对应运动区域或场景切换，变化小的 token 对应静止背景。具体实现上，可以计算帧 t 和帧 t+1 之间对应位置 token 特征的余弦距离，距离小的 token 在后续帧中可以合并或丢弃。

我最终采用的是混合策略：先用时序差分做粗筛，把连续多帧几乎不变的 token 标记为候选丢弃；然后在候选集里用注意力权重做精筛，保留那些虽然变化小但注意力接收量高的 token（比如静止但语义重要的物体）。实测下来，这种两级筛选比单一策略的稳定性好很多，尤其是在运动剧烈和静止场景混合的数据集上。

3.2 丢弃比例怎么定：95% 不是拍脑袋

95% 这个数字看起来很极端，但它其实是有依据的。我做过一轮丢弃比例的消融实验，在下游视频分类任务上观察准确率随丢弃比例的变化。

可以看到，准确率在 95% 左右达到峰值，再往上丢就开始下降了。原因也不难理解：丢到 98% 的时候，保留的 token 已经少到无法覆盖视频中的关键时空区域了，模型连基本的场景结构都拼不出来，自然学不好。95% 是一个平衡点——既去掉了绝大部分冗余，又保留了足够的信息骨架。

不过这个数字不是绝对的。它和视频分辨率、帧数、patch 大小都有关系。如果你的视频分辨率更高（比如 448×448），单帧 token 数更多，那最优丢弃比例可能会更高一些。如果帧数很少（比如只有 8 帧），那丢弃比例要适当降低，因为时间维度的信息本来就少。我的建议是：从 90% 开始试，以 2% 为步长往上加，观察下游任务准确率的变化，找到你自己的数据集上的拐点。

3.3 丢弃之后，预训练目标怎么调整

丢掉 95% 的 token 之后，原来的预训练目标不能照搬，得做相应调整。

如果用的是掩码重建目标，掩码比例要重新设计。原来在 100% token 上做 75% 掩码，意味着模型要重建 2304 个 token。现在只剩 154 个 token，如果还做 75% 掩码，模型只需要重建 115 个 token，任务太简单，学不到东西。我的做法是提高掩码比例到 90% 甚至 95%，让模型在极少的可见 token 下重建剩余 token。这迫使模型必须从保留的高信息 token 里榨取出尽可能多的时空上下文。

如果用的是对比学习目标，正负样本的构造方式要变。原来正样本对是同一视频的不同片段，负样本对是不同视频的片段。token 减少之后，同一视频不同片段之间的差异被放大了（因为冗余 token 被去掉了），正样本对的学习信号更强。但负样本对之间的区分度可能下降，因为不同视频的背景冗余 token 都被去掉了，剩下的高信息 token 可能反而有相似的运动模式。我的应对是增加负样本的多样性，从更多不同类别的视频里采样负样本，确保负样本对之间有足够的语义差异。

还有一个容易被忽视的点：位置编码要重新适配。丢掉 token 之后，保留 token 在原始时空网格中的位置是不连续的。如果还用原来的绝对位置编码，模型会收到错误的位置信号。我的做法是改用相对位置编码，或者对保留 token 重新计算它们在压缩后网格中的相对坐标。这个细节看起来小，但不处理的话，下游任务准确率会掉 1 到 2 个百分点。

4. 实操流程与关键配置

4.1 整体流程拆解

整个预训练流程我分成四个阶段，每个阶段的目标和配置都不一样。

第一阶段：预热。用完整 token 跑 10 到 20 个 epoch，让模型先建立基本的时空表示能力。这个阶段不丢弃任何 token，目的是让注意力机制先“看到”完整的视频结构。学习率用标准的 warmup 加 cosine 衰减，初始学习率 1e-4，batch size 根据显存尽量大。

第二阶段：重要性估计。在预热后的模型上跑一遍完整数据集，统计每个 token 位置的注意力接收量和重建误差。这个阶段不更新模型参数，纯做统计。统计结果按视频类别和场景类型分别保存，因为不同类别的视频，重要 token 的分布差异很大。

第三阶段：token 筛选与重训练。根据统计结果，对每个视频片段保留重要性最高的 5% token，重新组织训练数据。然后用这些压缩后的数据继续预训练。这个阶段的学习率要调低，用预热阶段峰值学习率的 1/10 左右，因为模型需要适应新的 token 分布。

第四阶段：下游微调。预训练完成后，在下游任务上做微调。微调时也保持 token 压缩策略，但丢弃比例可以适当放宽（比如保留 10%），因为下游任务通常数据量小，需要更多 token 来防止过拟合。

4.2 关键参数与配置

下面是我实际用的配置，基于 PyTorch 和标准的 ViT 实现。代码结构我简化了一下，只保留核心逻辑。

# token 重要性估计的核心逻辑 import torch import torch.nn.functional as F def estimate_token_importance(model, dataloader, num_batches=100): """ 统计每个 token 位置的注意力接收量和重建误差 返回: importance_scores [num_tokens] """ model.eval() attention_sum = None recon_error_sum = None count = 0 with torch.no_grad(): for batch_idx, (videos, _) in enumerate(dataloader): if batch_idx >= num_batches: break # videos: [B, T, C, H, W] # 前向传播，同时获取注意力权重和重建输出 outputs, attentions = model(videos, return_attention=True) # attentions: list of [B, num_heads, num_tokens, num_tokens] # 取最后一层的注意力，对所有 head 求平均 last_attn = attentions[-1].mean(dim=1) # [B, num_tokens, num_tokens] # 每个 token 接收到的注意力总量 attn_received = last_attn.sum(dim=1) # [B, num_tokens] # 重建误差 recon_error = F.mse_loss( outputs, videos.flatten(2).transpose(1, 2), reduction='none' ).mean(dim=-1) # [B, num_tokens] if attention_sum is None: attention_sum = attn_received.sum(dim=0) recon_error_sum = recon_error.sum(dim=0) else: attention_sum += attn_received.sum(dim=0) recon_error_sum += recon_error.sum(dim=0) count += videos.size(0) # 归一化后加权组合 attn_norm = attention_sum / (attention_sum.max() + 1e-8) recon_norm = recon_error_sum / (recon_error_sum.max() + 1e-8) # 注意力权重占 0.6，重建误差占 0.4 importance_scores = 0.6 * attn_norm + 0.4 * recon_norm return importance_scores

这个重要性估计函数是整个流程的核心。我试过不同的权重组合，0.6 和 0.4 是我在几个数据集上平均表现最好的。如果你的下游任务更依赖细粒度重建（比如视频超分），可以把重建误差的权重调高到 0.5 甚至 0.6。

4.3 token 压缩与数据重组

估计出重要性分数之后，下一步是对每个视频片段做 token 压缩。这里有个细节要注意：不能对每个视频独立选 top 5% token，因为不同视频的重要 token 位置不一样，独立选择会导致训练时 token 位置分布混乱，模型难以学到稳定的位置表示。

我的做法是按类别做全局选择。先把训练集按视频类别分组，在每个类别内统计重要性分数，选出该类别的 top 5% token 位置。这样同一类别的视频共享一套 token 位置模板，模型可以学到类别特定的时空结构。对于类别未知或类别很多的数据集，可以退而求其次，用聚类的方式把相似视频聚在一起，每个簇共享一套 token 模板。

def compress_tokens(videos, importance_scores, keep_ratio=0.05): """ 根据重要性分数压缩 token videos: [B, T, C, H, W] importance_scores: [num_tokens] keep_ratio: 保留比例 """ num_tokens = importance_scores.size(0) num_keep = int(num_tokens * keep_ratio) # 选出最重要的 token 索引 _, keep_indices = torch.topk(importance_scores, num_keep) keep_indices = keep_indices.sort().values # 保持原始顺序 # 将视频 patch 化 B, T, C, H, W = videos.shape patch_size = 16 num_patches_h = H // patch_size num_patches_w = W // patch_size # 重塑为 patch 序列 patches = videos.reshape(B, T, C, num_patches_h, patch_size, num_patches_w, patch_size) patches = patches.permute(0, 1, 3, 5, 2, 4, 6) # [B, T, nh, nw, C, ph, pw] patches = patches.reshape(B, T * num_patches_h * num_patches_w, -1) # 只保留选中的 token compressed = patches[:, keep_indices, :] return compressed, keep_indices

这段代码里有个容易踩的坑：keep_indices.sort()这一步不能省。如果不排序，保留的 token 在序列里的顺序是乱的，位置编码会完全错乱。我一开始忘了排序，训练损失一直降不下去，排查了半天才发现是这个问题。

4.4 训练配置与显存优化

token 压缩之后，显存占用大幅下降，这允许我用更大的 batch size 或者更高的分辨率。我的配置是：

• 压缩前：batch size 32，分辨率 224×224，16 帧，单卡显存占用约 22GB
• 压缩后：batch size 128，分辨率 224×224，16 帧，单卡显存占用约 18GB

显存反而降了，因为 token 数从 3072 降到了 154，注意力矩阵的大小从 3072×3072 降到了 154×154，这是平方级别的下降。省下来的显存我用来增大 batch size，进一步提升了训练稳定性。

学习率方面，压缩后的预训练用 1e-5 到 3e-5 之间，比预热阶段低一个数量级。优化器用 AdamW，weight decay 0.05。训练 epoch 数比标准预训练少 30% 左右，因为每个 epoch 的有效信息密度更高了，不需要跑那么多轮。

5. 常见问题与排查实录

5.1 训练损失震荡不收敛

这是我最开始遇到的最头疼的问题。丢掉 95% token 之后，训练损失在前几个 epoch 剧烈震荡，有时候甚至发散。排查下来主要有三个原因。

第一个原因是重要性估计不准确。如果预热阶段太短，模型还没学到有意义的注意力分布，估计出来的重要性分数基本是噪声，选出来的 token 自然没有代表性。我的解决方法是把预热 epoch 从 10 增加到 20，并且在重要性估计时用滑动平均而不是单次统计，减少随机性。

第二个原因是学习率太高。压缩后的 token 序列和预训练模型的参数分布不匹配，需要用更小的学习率让模型慢慢适应。我把学习率从 1e-4 降到 1e-5 之后，震荡明显减小。

第三个原因是batch size 太小。token 减少之后，每个样本的信息量下降，如果 batch size 不变，梯度的方差会变大。增大 batch size 到 128 之后，梯度估计稳定了很多。

5.2 下游任务准确率不升反降

有时候预训练损失降得很好，但下游微调时准确率反而比基线低。这种情况通常是token 选择偏置导致的。如果重要性估计过度偏向某一类特征（比如运动剧烈的区域），那保留的 token 就会集中在这些区域，模型学到的表示缺乏多样性。下游任务如果依赖其他类型的特征（比如静态物体的纹理），就会表现很差。

我的应对策略是在重要性分数里加入多样性约束。具体做法是：把 token 按空间位置分成若干区域，在每个区域里分别选 top token，而不是全局选 top。这样保证保留的 token 在空间上分布均匀，不会全部集中在某个局部区域。

def diverse_token_selection(importance_scores, num_keep, num_regions=16): """ 分区域选择 token，保证空间多样性 """ num_tokens = importance_scores.size(0) region_size = num_tokens // num_regions keep_per_region = num_keep // num_regions keep_indices = [] for r in range(num_regions): start = r * region_size end = start + region_size region_scores = importance_scores[start:end] _, region_keep = torch.topk(region_scores, keep_per_region) keep_indices.append(region_keep + start) keep_indices = torch.cat(keep_indices).sort().values return keep_indices

这个改动看起来简单，但在我的实验里，下游准确率提升了 1.5 个百分点左右。尤其是对于那些背景和前景都很重要的任务（比如视频问答），多样性约束的效果非常明显。

5.3 不同视频长度下的适配问题

我的实验主要基于 16 帧的短视频片段，但实际应用中视频长度变化很大。把 16 帧上训好的 token 选择策略直接用到 64 帧的视频上，效果会打折扣。原因是：长视频里，时间维度的冗余模式不一样。短视频里相邻帧高度相似，但长视频里可能有场景切换、镜头运动，token 的重要性分布会随时间变化。

我的解决方案是分段处理。把长视频切成多个 16 帧的片段，每个片段独立做 token 选择，但片段之间保留一定重叠（比如 4 帧），确保时序连续性。然后在预训练时，把不同片段的压缩 token 序列拼接起来，用时序注意力机制建模片段间的关系。这样既利用了短视频上训好的选择策略，又适配了长视频的时序结构。

5.4 常见问题速查表

6. 这套方法还能怎么用

token 压缩的思路不只适用于视频预训练。我在几个相关场景里试过，效果都还不错。

视频检索：把视频库里的每个视频用压缩 token 表示，检索时只需要计算查询视频和库视频在压缩 token 空间里的相似度。因为 token 数少了 95%，检索速度提升了将近 10 倍，而且准确率还略有提升，因为压缩后的表示去掉了背景噪声的干扰。

在线视频理解：在边缘设备上做实时视频分析时，算力是瓶颈。用 token 压缩策略，可以把每帧需要处理的 token 数降到原来的 5%，推理延迟从 200ms 降到了 40ms 左右，满足了实时性要求。

多模态预训练：视频和文本的联合预训练里，视频侧的 token 数远多于文本侧，导致跨模态注意力被视频 token 主导。对视频侧做 token 压缩之后，两个模态的 token 数量级更接近，跨模态对齐的效果反而更好了。

我个人在实际操作中的体会是，token 压缩的核心不是“丢”，而是“选”。丢多少不是关键，关键是丢得准不准。重要性估计的质量直接决定了最终效果，而重要性估计又依赖于预热阶段模型学到的表示质量。所以整个流程里，预热阶段最不能省，宁可多花时间把预热做扎实，也不要急着进入压缩阶段。另外，不同数据集的最优丢弃比例差异很大，不要迷信 95% 这个数字，一定要在自己的数据上做消融实验，找到那个准确率拐点。