说实话我做了快十年的视频编码相关工作从x265到VTM天天跟QP、码率控制、模式决策打交道。最开始听到AI视频编码这个词我也以为无非就是拿神经网络帮传统编码器调一调参数——把QP选得更准、把运动搜索范围收得更聪明、把块划分决策做得更快。但等我真正去跑神经编解码器的训练、把DVC到DCVC这一系论文啃下来之后才发现这个理解完全是错的。神经编码不是AI调参数它是把整台发动机都换了。这篇文章我想从工程视角把这些年我对这件事的认知变化写清楚给正在做编码优化的工程师、刚转AI方向的算法同学还有需要判断技术路线的技术管理者提供一个真正能落地的参考框架。1. 传统调参到底在调什么你调的是策略不是引擎先把调参这件事拆开。传统视频编码器里的参数表面上看是一堆数字实际上可以分成两类。一类是配置参数比如QP、码率上限、GOP结构、B帧数量、参考帧个数这些是宏观层面的开关。另一类是编码器运行时内部要做的大量决策——每个CU用帧内还是帧间、选哪个参考帧、块划分到多深、运动矢量取多少这些才是工程师真正花时间调的东西。这两类参数有一个共同点它们全是在给定的工具集里做选择。现代编码器把所有决策统一成了率失真优化RDO目标函数是J D λ × RD是失真R是编码比特数λ是拉格朗日乘子。编码器对每个候选工具计算一次J然后选J最小的方案。这个公式看起来很干净但它隐含了一个关键前提所有候选方案的集合是预先手工设计好的。你可以调λ让编码器更偏向码率还是偏向画质可以调整搜索策略让决策更快但永远跳不出工具集本身去看有没有更好的表示方式。我用一个不太严谨但很直观的类比传统编码器就像给你一张固定考卷题目已经出好了工程师的工作是研究怎么分配答题时间、先做哪道题但题目本身不会因为你答题策略变好就变得更简单。x265后来那么多优化版本包括各种tune预设、lookahead流程、线程调度策略本质上都在做同一件事——在固定工具集上把策略调到最优。所以它的收益会越挖越薄因为策略优化不会改变工具集的表达能力。经常有人跟我抬杠说H.265有35种帧内预测方向AV1有56种这难道不是AI调出来的真要较真的话这些模式全是设计者用了大量实验一点一点手工加进去的。每加一种模式语法要改、变换要改、熵编码要改、参考软件要改工程量非常吓人。模式越多RDO搜索空间越大编码时间越长。这条路走了二十多年每一代标准都在进步但基本没有跳出人工设计工具搜索最优参数的范式。2. 传统编码框架的三块天花板搞清楚调参的边界之后我们再看底层。H.264到H.266VVC虽然每一代的压缩率都在涨但基本框架没变过分块、预测、变换、量化、熵编码。这套模块化流程管了二十多年优点是成熟、可解释、方便硬件化缺点也很明显——它同时立起了三块天花板。第一块天花板叫模块化诅咒。传统编码器是一条级联流水线先运动估计再帧内/帧间预测生成残差残差做变换量化最后熵编码。每个模块都是独立设计的各自只对自己负责。问题在于一个模块的决策错误会沿着流水线往下传播。运动估计在一个区域失败了残差变大量化更容易失真熵编码要花更多比特去描述一个本来就不该出现的问题。模块之间没有全局的联合优化这也是为什么每年都有论文试图端到端地改其中一个环节但放到整个系统里看效果往往很有限。第二块天花板是运动模型的刚性假设。传统编码器默认块内像素做的是平动用一个运动矢量MV就能描述。这个假设在摄像机平移、物体平移时非常高效但真实世界的运动哪有那么听话。旋转、缩放、遮挡、光照变化更别说烟雾、流体、布料这类根本没有明确轮廓的运动传统编码器碰到这些只能靠残差去补救。残差大了编码器再细分块块小了残差继续变小但块多了开销也跟着涨。我们团队做过统计在包含大量镜头运动和形变的视频片段的RD曲线上即便是VTM这种最新参考软件同码率下的主观质量也明显低于静态场景。第三块天花板也是我感触最深的一块传统编码器是在像素域里描述残差它对什么信息值得保留没有概念。残差里混着真实边缘、纹理细节、传感器噪声编码器分不清哪些是内容本身哪些是不可感知的冗余。结果就是两种浪费要么在平坦区域花比特去量化噪点要么为了保留人眼根本看不见的高频细节付出超额码率。有人会说这不就是感知编码要做的事但感知编码靠的是手工设计的心理视觉模型——用规则去近似人眼在乎什么而不是真正理解画面的高层语义或者说画面里到底有什么东西。3. 神经编解码器真正改了什么引擎级替换的三件事如果你能接受上面说的天花板神经编码要做什么就很好理解了——它不做模块级优化而是把编码器整体改造成一个可学习的端到端系统。我再强调一遍这是引擎级别的更换不是修修补补。3.1 从分块残差到学习一个压缩映射神经编解码器的主体是一个自编码器结构。编码器网络也叫分析器把输入视频帧或者帧组映射到一个潜在张量latent tensor这个张量经过量化和熵编码形成码流解码器网络也叫合成器从码流中恢复出重建帧。这里的潜在张量既不是像素域的残差也不是传统意义上的DCT系数它是网络从大量训练数据中自己学出来的、为了重建目标所必须保留的最小组信息。你没法像解释DCT系数一样逐项解释潜在张量的每一个位置是什么意思但它的表达能力天然就是全局的、自适应的。传统的块划分是固定的正方形而神经网络感受野里的空间关系是连续且可重叠的。传统编码器遇到旋转只能靠更多残差神经编码器在特征空间里可以隐式地学习到空间的形变和语义变化。3.2 率失真优化从搜索算法变成了训练目标传统系统里RDO是编码器运行时的决策算法而在神经编码里率失真权衡被直接放进了训练目标。训练时用的损失函数长得和RDO很像L E[-log p(y)] λ × E[d(x, x̂)]第一项是码率的估计值第二项是重建失真λ是率失真权衡系数。整个模型的梯度会通过这两项一路反传到编码器、解码器、熵模型的所有参数上。区别在哪传统编码器的RDO是在固定工具集上搜索最优解神经编码的训练是在整个函数空间里搜索最优映射。搜索算法不会改变工具集但训练会。训练完之后你得到的不是一个更好的参数配置而是一个全新的编码器实例。你可以把不同λ训练出来的模型当成传统编码器的不同档位它们的编码行为完全不同但背后是同一个学习框架。3.3 熵模型从查表变成了可学习的概率预测器这一块最容易被低估我单独拿出来讲。传统熵编码的上下文模型和概率表是手工设计的比如CABAC里各种上下文状态、概率更新策略都是设计者精心调出来的。神经编解码器用神经网络预测潜在张量中每个元素的概率分布这个概率分布再用于算术编码。有了可学习的熵模型编码器才知道潜在空间里哪些元素是常见的、便宜的哪些是罕见但昂贵的。于是网络会主动把常见结构映射到概率高的区域把细节放到概率低的区域。这已经不是用AI替代某一个编码工具了整个码率分配策略本身都变成了学习的产物。传统编码器靠人工设计量化矩阵和码率控制模型来分配比特神经编码器直接靠熵模型学到的先验分布来分配比特这也是为什么它们能在同样码率下保留更多主观质量上重要的信息。3.4 运动处理方式的重构从MV残差到特征域时间建模看完DVC、DCVC这一系列工作你会发现神经编解码器对运动信息的处理也完全重构了。传统编码器是对像素块做运动估计输出运动矢量然后把参考块和当前块的残差编码。神经编码器用的是光流网络或者更复杂的运动估计模块把运动信息本身也编码到潜在空间然后在特征层面上做运动补偿warping而不是在像素域里做简单的块匹配。更进一步的模型比如DCVC里参考帧不是直接框入当前块的预测了而是通过一个上下文网络把参考特征和当前特征融合起来。传统编码器的运动估计残差的二元结构被完全重构成在特征空间中建模时间相关性。这也是神经编码在处理旋转、形变、遮挡时优势最明显的地方——特征域里的运动建模比像素域里的块匹配要灵活得多。4. 别把神经增强和神经编码混成一锅粥现在市面上很多号称AI视频编码AI修复AI超分的产品其实做的不是神经编码而是神经增强。这俩的区别一句话就能说清神经增强只在解码端做后处理编码端完全不变神经编码是编码器和解码器成对训练码流格式都变了。4.1 神经增强解码端脑补的能力边界神经增强的工作方式很直白视频还是用H.265或者AV1压解码出来画面有伪影、不够清晰我在解码端上一个神经网络对画面做超分、去噪、去块效应。直播场景里的AI超分、点播场景里画质修复、很多播放器自带的视频增强功能基本都是这个路数。它的确有用尤其在高压缩比场景下能让画面看起来更干净但它解决的是解码后的视觉体验不是压缩效率本身。关键限制在于编码端已经把高频信息丢掉了增强网络再怎么脑补也补不回来根本没进码流的信息。增强网络只能根据周边像素的统计规律去猜测那些被量化抹掉的细节这种猜测在大多数时候主观效果不错但它不能像真的编解码器那样让编码端的压缩决策和解码端的重建决策联合起来。4.2 神经编码码流格式都在变真正的神经编码编码器和解码器是一个联合训练出来的整体。编码器知道解码器是个什么样的神经网络所以它会把信息大大压缩到只有解码器才能读懂的潜在表示里解码器也知道编码器是在为它服务所以只需从潜在表示中重建全局结构。码流不再是像素相关语法而是经过学习的潜在张量。这种成对优化的结果就是在率失真曲线上能有实打实的整体提升而不只是在视觉观感上做文章。我把它们的区别整理成了一张表方便对比维度神经增强混合方案全神经编码编码端是否改变不变不变完全替换解码端是否改变加NN后处理加NN后处理替换为NN解码器码流格式不变兼容性好不变兼容性好全新格式生态成本高压缩率提升无只改善观感有限主要集中在主观质量端到端率失真改善潜力最大落地难度最低可立即上线低适合云服务商高需要标准化和硬件适配4.3 为什么混合方案是当下工业界的主流很多云服务商和直播平台今天在做的AI编码其实是混合方案传统编码器做基础压缩神经网络做后处理增强。这种方案在工程上非常诱人——不用改编码器不用改码流格式只需要在解码端塞一个模型SDK更新就能上线。但我的判断是混合方案是一个过渡态。它在主观质量上的增益是真实的但它没有触碰编码效率的根本瓶颈。等到全神经编解码器的算力成本降下来、标准化框架成型混合方案的优势会慢慢消失。技术管理者现在最该做的是分清自己买到的到底是哪一种AI编码因为这直接决定了未来三五年产品的技术底座。5. 从论文到落地神经编码要过的四道槛我经常被问到一个问题既然神经编解码器的BD-rate比VTM还好为什么大家还在用H.265和AV1答案很简单——从论文里的漂亮曲线到大规模生产环境中间隔着四道很难迈过去的槛。5.1 算力编码端的成本从来不是免费的传统编码器在服务器CPU上做软件实时编码是极其成熟的事情x265在主流服务器上跑1080p甚至4K实时编码都没压力。神经编解码器的编码端要跑好几轮神经网络前向推理复杂模型在CPU上基本跑不动当前可行的路径基本都要依赖GPU或者专用NPU。1080p30的低延迟编码任务即便是轻量化模型也普遍需要一块中高端GPU才能压得住这在很多现有的带宽和机房预算下是难以接受的成本。解码端同样有压力。你看视频的手机要跑一个几十MB的解码模型对内存、带宽、耗电都是负担。这也是为什么很多论文里的优秀模型最后商用的时候都在做大幅压缩——量化、剪枝、蒸馏能上的招都得用上。5.2 比特准确性熵编码必须逐比特可复现传统编码器的解码输出是确定性的逐比特可复现这是整个视频链路、协议测试、质量监控的基石。我们在做QoS监控的时候解码器输出差一个比特都得排查半天。神经网络在训练和推理阶段涉及大量浮点运算浮点在CPU、GPU、不同算子库上的结果本来就存在细微差异要保证跨平台解码一致就必须做定点化、量化感知训练还要把熵模型的概率估计精确转换到整数域。这一块工程难度非常大。模型精度是一回事模型能不能在异构硬件上产出完全一致的码流和解码结果是另一回事。而且神经编解码器的码流是高度上下文相关的一个概率估计偏差可能导致后面一大片符号解码全部崩掉。5.3 可调试性黑盒模型的排障痛苦传统编码器出问题了你可以怀疑运动估计、可以查参考帧索引、可以dump中间残差问题很快能定位到具体模块。神经编码器是个黑盒模型在某个视频片段上出现诡异的伪影时你很难指着某一个参数说就是它错了。它可能是一个训练数据的分布偏差可能是某个量化步长不当也可能是解码器某个层对输入分布太敏感。这种调试优势的丧失会让习惯了模块化排障的团队非常不适应。我见过不少团队传统编码器的掌控感很强一来做神经编码就头大因为上游是性能飘忽的模型下游是要严格可复现的码流中间的所有脏活累活都得自己扛。5.4 标准化与生态最慢也最难的一关视频编码存在的价值就是能被广泛解码码流必须被大量设备兼容。今天即使你已经训练出比AV1好得多的神经编解码器它没有解码端生态的话也只是一个孤岛。一个全新码流格式要想普及需要芯片厂商支持硬件解码、需要在媒体容器里定义封装方式、需要播放器厂商集成解码器、需要内容分发链路配合。好消息是MPEG已经成立了神经视频编码工作组多个产业联盟在同步推进探索坏消息是这个过程通常以五年为单位计算。未来很可能不是直接用神经编码替代VVC或AV1而是先在标准体系内部引入基于神经网络的编码工具再逐步走向完整的神经编解码器。6. 我对未来两三年的判断和写给同行的建议说了这么多最后聊聊我自己的推演和目前在做的事给大家一个参考。第一个判断真正的全神经编码不太可能在通用视频平台大面积铺开。未来两三年主基调仍然是传统编码器神经增强的混合方案继续扩大使用范围。直播平台、短视频平台升级到混合方案的优先级远高于冒险切换码流格式。第二个判断低延迟实时音视频场景可能会是全神经编码最先突破的地方。为什么实时通信对码流生态的要求最低编码端可以把模型部署在云端解码端只需要一个轻量模型通过SDK分发就能控制兼容性。而且实时场景对时延敏感神经编解码器在编码端不需要做超长时间的率失真搜索一次前向推理的时间相对可预测这反而是它有优势的地方。第三个判断离线高质量编码场景会走得更慢。专业影视后期、云端转码这类场景对质量和效率要求极高对硬件成本敏感通常也更保守。它们更可能采用标准内部基于神经网络的编码工具而不是一步到位的全神经编码。如果你真想深入这个领域我目前看来比较高效的学习路径是这样第一跑通一个开源的神经视频压缩框架把自编码器加熵模型的输入输出流程彻底搞清楚这是所有后续工作的基本功第二把熵模型相关的论文读透从超先验hyperprior到上下文模型context model这是理解神经编码和传统编码差异的核心第三自己动手做一次率失真对比实验在相同的数据集上把神经编解码器的RD曲线和VTM、AV1放在同一个坐标系里看。很多论文说BD-rate比AV1好30%但自己跑一遍你就会发现那是在特定测试集和特定损失函数下的结果换到真实窄带场景里通常会打个折扣。最后想说说个人体会。我做传统编码做了很多年刚开始接触神经编码时也有过焦虑觉得自己二十年积累的手工调参经验可能要归零了。但真正做下来之后我发现传统编码带给我的对率失真、时域相关性、量化误差特性的理解在做神经编码的特征设计、损失函数调优、主观评价的时候照样有用。真正需要放下的是手工设计的模块永远最优这个执念。视频压缩要解决的问题没变在有限比特下尽可能保留人眼能感知到的信息。这句话放在哪个时代都成立。算法在变硬件在变工具在变但这个核心命题不会变。