如果你最近翻过学术论文列表，肯定见过这类标题组合：POMDP、可扩展策略优化、记忆增强PPO。看到“2025_NIPS_Scalable Policy-Based RL Algorithms for POMDPs”这个项目名，我第一反应是：这不就是把老问题换个包装再发一遍？后来把原文思路和相关实现代码重头过了一遍，发现没这么简单——它解决的是工程上一个很实际的痛点：当环境给的观测不再完整时，策略梯度类算法的高方差会被无限放大，而这类工作给出了一个把“表征、记忆、策略”三者一起做扩展的明确框架。

这篇文章不打算复述论文，而是站在实践者的视角，聊聊这类可扩展策略算法到底在改什么、怎么落地、复现时会踩哪些坑。适合正在做机器人控制、推荐系统、游戏AI，或者刚接触部分可观测环境的强化学习开发者。即使你手头任务还不是严格意义上的POMDP，只要遇到过“观测丢帧”“传感器不齐”“同一状态下行为不一致”的问题，这套思路也能帮上忙。

1. 先从问题说起：POMDP下的策略优化为什么难

1.1 状态缺失与置信状态

标准的强化学习假设环境是MDP，智能体每一步能看到完整状态。可现实里这个假设基本不成立：自动驾驶看不到后车的意图，机器人的相机有遮挡，推荐系统只能看到用户的点击序列而不是真实偏好。一旦观测不完整，训练就从MDP变成了POMDP。

POMDP里最关键的概念叫置信状态，本质上是“根据到目前为止所有观测和历史，猜测当前真实状态的概率分布”。传统POMDP解法里，置信状态是个显式的概率分布，维数高、更新贵，算起来很痛苦。而深度强化学习的做法是把这个分布“隐式”表示成某种向量——可以是一个循环神经网络的隐状态，也可以是一段观测序列的编码。这也就是为什么这类算法都把记忆模块放在很核心的位置。

1.2 策略梯度在部分可观测下的脆弱性

如果直接拿PPO这类策略梯度算法硬跑POMDP环境，最先出现的症状就是方差爆炸。原因不复杂：策略梯度依赖估计优势函数，而优势函数的准确性又依赖值函数对“当前状态”的判断。观测不完整时，同一个观测可能对应多种真实状态，值函数预测的平均值会被拉平，优势估计变得很不稳定。于是同样的动作，有时候被当成好动作，有时候被当成坏动作，策略的更新方向来回摇摆。

另一个麻烦是策略的“非平稳性”。普通PPO假设策略只依赖当前观测，换成POMDP后，同一个观测后面可能跟着完全不同的局面。策略网络被逼着去拟合一种平均行为，结果就是在任何一个具体场景里都显得不够准确。我见过一个很典型的现象：在部分可观测的导航任务里，普通PPO训练到中期时，智能体在岔路口会反复犹豫，因为它根本记不住自己是从哪条路来的。

1.3 “可扩展”到底指什么

很多工作把可扩展等同于“用更多并行环境跑得更快”，但这类算法对可扩展的定义不太一样。我把它拆成三层意思。

第一层是训练规模可扩展：几千个采样环境、分布式经验回放、多卡训练时，算法依然能保持稳定的更新方向。第二层是序列长度可扩展：部分可观测必然意味着要处理历史信息，但历史不能无限堆，所以算法得有办法在固定显存和计算量下，尽量保留有效信息。第三层是任务规模可扩展：置信状态的表征容量要能跟得上任务复杂度，任务变复杂、观测维度变高时，加宽网络、加长记忆就能提升效果，而不是直接失效。

很多号称POMDP友好的算法只满足了第一层，后两层很少想清楚。2025年前后出现的一批工作，包括我复现的这个项目思路，核心贡献其实是把第二层和第三层作为一等公民设计进去。也正是因为这样，工程实现时需要考虑的细节比普通PPO多得多。

2. 整体设计思路拆解

2.1 三段式结构：观测编码器、记忆模块、决策头

这类算法的网络结构几乎都遵循同一个三段式套路。

观测编码器负责把原始观测压缩成紧凑的特征。它可以是CNN、MLP，也可以是Transformer的patch嵌入，取决于观测类型。这里一个容易忽略的点是：编码器必须能处理“观测缺失”的情况。真实部署时，传感器掉帧、观测被截断都很常见，编码器如果对输入维度固定死，后面就难办了。

记忆模块是整个架构的灵魂。常见选择有门控循环单元、长短时记忆网络、时序卷积或者固定大小的注意力池化。它的作用是把历史信息编码成一个固定维度的向量，替代不可见的真实状态。

决策头则负责输出动作分布和值函数估计。有些设计把策略和值函数共用一套编码，有些则拆成两个头。拆不拆完全看实际问题：如果动作空间和奖励复杂度差距很大，拆开会稳很多。

实际用下来，三段式的好处是每一段都可以单独替换。观测编码器不好就换编码器，记忆模块不够强就换更大的循环网络，决策头有毛病就调它。模块解耦之后，定位问题也快，不会一调就动全身。

2.2 置信状态近似与策略结合的方式

如何处理置信状态，是这类算法里差异最大的部分。

一种朴素做法是让记忆模块输出一个向量，直接把向量当作“伪状态”输入策略和值函数。这样做最简单，但风险在于：记忆向量本身没有显式的概率语义，梯度更新时既要把信息编码进向量，又要在向量上拟合策略，任务太重。

更巧妙的方式是让记忆模块同时输出一个策略特征向量和一个“状态不确定度”估计，或者用多个随机采样来表达置信状态。比如，让隐状态通过一个小网络输出一个高斯分布的均值和对数方差，策略头在采样这个分布后做决策。这样，隐状态实际上携带了“我对当前情况的把握有多大”这一信息，策略网络可以学到“拿不准时要留有余地”。

我复现的项目里还引入了一个细节：用辅助损失约束隐状态的分布。也就是说，不光是让策略拟合得好，还强制相邻时间步的隐状态变化足够平滑，避免隐状态因为微小噪声就剧烈跳动。这样训练出来的置信状态更符合直觉，策略更新也稳得多。

2.3 为什么循环结构比深层MLP更适合扩展

有人会问：既然Transformer在序列建模上这么强，为什么这类算法还是爱用循环结构？实测下来，循环结构最大的优势不是精度，而是“训练过程的稳定性和推理时的固定成本”。

Transformer处理序列时，注意力机制会给序列里的每个位置分配权重，序列越长，计算量非线性上升。在强化学习里，序列长度往往取决于真实交互的时长，可能是几百步，也可能是上千步，如果每一步都用全局注意力，训练会非常吃力。循环结构则好很多：每步开销固定，序列再长也只是时间维度上的线性累积。而且循环结构的梯度路径天然适合处理时序依赖，对探索带来的噪声有某种平滑效果。

当然，如果任务本身特别依赖长距离跨步关联，比如一个决策要回顾50步之前的某个关键事件，纯循环结构确实不够。我当时用了一个折中方案：循环结构外挂一个短窗口的注意力缓存，只对最近10到20步做注意力加权，历史更久远的信息靠循环单元传播。这种混合结构在性能和成本之间比较平衡，值得一试。

3. 核心实现：损失函数、网络结构与并行训练

3.1 策略损失与剪辑目标

主损失仍然沿用PPO的剪辑式策略损失，这点和标准实现差别不大。直接给出我在实验里用的代码逻辑：

def compute_policy_loss(old_logp, logp, advantages, clip_eps): ratio = torch.exp(logp - old_logp) loss_pi = -torch.min( ratio * advantages, torch.clamp(ratio, 1.0 - clip_eps, 1.0 + clip_eps) * advantages, ) return loss_pi.mean()

但有一个关键调整：因为使用了循环结构，计算 logp 时需要在时间维度上展开，不能像普通PPO那样把每个transition当作独立样本。也就是说，策略前向传播的输入必须是一个完整序列，而不能是一批孤立的单步观测。

3.2 辅助一致性损失

只靠策略损失，隐状态的质量通常不够好。我在实际复现中加入了两个辅助损失，这也是这类算法能落地的核心细节。

第一个是隐状态平滑损失。计算方式比较简单：对于相邻时间步的隐状态 h_t 和 h_{t+1}，约束它们的差不能太大，但也不能小到抹掉关键变化。

L_smooth = MSE(h_{t+1}, stop_grad(h_t)) * beta

这里 stop_grad 要加在 h_t 上，否则模型会偷懒，把所有隐状态都学成一个常数向量，后续信息全丢了。beta 一般取0.01到0.05，太大会影响策略训练。

第二个是预测一致性损失。用当前隐状态去预测下一帧观测的主要特征，让记忆模块不仅仅存储过去，还要具备对未来的粗预测能力。这个损失本质上是在教隐状态“抓住环境演变的关键变量”，比单纯的信息压缩目标稳健得多。

3.3 经验缓存与序列采样

部分可观测算法练到的核心差异，是经验缓存不能存单步transition，而要存“序列片段”。我复现时做法是：每个环境维护一个定长队列，记录最近 N 步的观测、动作、奖励、是否结束。训练时从这个队列里采样完整片段，再进行batch化处理。

class SequenceBuffer: def __init__(self, max_len, obs_dim): self.buf_obs = torch.zeros(max_len, obs_dim) self.buf_act = torch.zeros(max_len, dtype=torch.long) self.buf_rew = torch.zeros(max_len) self.buf_done = torch.zeros(max_len) self.pos = 0 self.full = False def push(self, obs, act, rew, done): self.buf_obs[self.pos] = obs self.buf_act[self.pos] = act self.buf_rew[self.pos] = rew self.buf_done[self.pos] = done self.pos = (self.pos + 1) % len(self.buf_obs) if self.pos == 0: self.full = True

这个看似简单的改动，直接影响整个训练流程。标准PPO里，一条轨迹里的每一步都可以跨batch随机打乱，而这里不行：一旦打乱，循环结构的时间依赖就断了。所以我在dataloader层面的做法是：先按片段划分，再在片段内部做小范围打乱，跨片段才允许随机组合。

3.4 并行训练与参数同步

可扩展性的另一个重点是采样和训练的并行拆分。我采用的方案是典型的三进程结构：

采样器（若干个环境实例）各自跑动作，产生完整序列，传给中央经验池，训练器消费经验池里的序列片段，更新网络参数；更新完成后，把新参数广播回各个采样器。由于策略会周期性变化，序列片段里的旧logp必须在本地缓存起来，否则PPO的ratio计算就会出错。

这一步踩坑最多的地方是同步频率。同步太频繁，通信开销大；同步太慢，采样器用的策略和训练器更新的策略差异太大，导致经验分布失真。我最后用的是“训练500步同步一次参数”的节奏，经验和效果都不错。你可以根据自己的环境交互成本和训练batch规模调节，原则是：采样器策略与最新策略的KL距离不要超过0.05。

4. 我复现时的参数与踩坑记录

4.1 环境与基线选择

我用了一个自制的部分可观测导航环境来跑实验：智能体只能看到前方一小段范围的障碍物，但需要绕过一个很大的迷宫到达目标点。因为视野有限，智能体必须依赖记忆判断“我刚才左转还是右转了”。这个环境的难度可通过迷宫大小精确控制，特别适合检验算法是否真的在利用历史信息。

基线选择了两组：一组是标准PPO，直接把当前观测喂进去；另一组是把最近10步观测拼成大向量输入MLP的PPO。后者模拟的是“表面上的历史信息”做法，但网络结构不会自动选择有用历史，效果会有瓶颈。

4.2 踩坑一：梯度反传路径断裂

第一次跑通时，策略和值函数都在涨，但智能体行为明显没有形成有效记忆。排查后发现，问题出在循环模块的梯度反传：我在某个中间层使用了 detach() 截断，目的是防止隐状态梯度无限回传，但截断得太早，记忆模块根本接收不到策略损失的高层信息。

修正方案：只在时间维度上做“截断反传”，即把一个长序列切成若干固定长度的小片段，每个片段内部正常反传，片段之间的起始隐状态直接沿用上一个片段的输出，但梯度不穿过片段边界。这样既控制了显存和梯度爆炸，又保证了每个片段内隐状态能获得有效梯度。

4.3 踩坑二：重复样本与过拟合

序列缓存方式下，很多样本在相邻训练批次之间会反复出现。特别是在环境数少、序列长度又很长的时候，训练器会把同一批片段重复消费十几次，导致过拟合和策略震荡。

改进方法是给每个片段打上“消费计数”，计数超过阈值就标记为过期，下次采样时丢弃。另一个办法是周期性重新生成环境状态，强制智能体探索不同初始状态，降低经验池的局部性。

4.4 关键参数清单

下面这组参数是从最终稳定版本里整理出来的，可以直接作为起点：

调整时优先动“平滑损失权重”和“序列长度”这两个参数。序列长度太短，记忆能力不足，典型表现是训练loss一直降但回传效果差；平滑损失权重太大，典型表现是隐状态变化缓慢，智能体反应迟钝。这两个参数共同决定了记忆模块的“信息带宽”。

5. 常见问题排查与实战建议

5.1 优势估计方差过高怎么办

如果你看到策略损失来回震荡，或者每个epoch的奖励曲线波动像心电图，先别急着调学习率。首先检查记忆模块的输入是否包含足够的“事件边界”信息。POMDP下，智能体往往需要知道“某个重要事件是否发生”，比如门是否开、目标是否更换。如果记忆模块没直接收到事件信号，它只能隐式推导，方差自然会高。

其次，检查GAE的计算方式。标准GAE是基于单步值函数估计做递推，在部分可观测环境下，值函数预测偏乐观，导致优势容易被高估。我在复现中把GAE的归一化方式改成了“用clip后的值函数误差做分位缩放”，效果立竿见影。简单说，就是计算优势后除以一个滚动统计的优势标准差，让优势分布始终落在合理范围内。

5.2 回合里后期变蠢

这个问题很典型：智能体在回合前段表现正常，但越到后期越混乱，好像把后面该做的事忘了。这通常是隐状态容量不够。当信息积累到一定程度，长时记忆被“冲刷”掉，早期关键信息被后来噪声覆盖。

排查方法很简单：把不同时间步的隐状态向量拿出来做PCA降维，观察后期隐状态是不是挤成一团。如果是，说明记忆模块已经饱和。解决办法是增隐状态维度，或者引入短窗口注意力机制，给最近的显著信息额外开一条通路。

5.3 哪些场景适合这类算法

根据我的实战经验，这几类任务收益最大：

• 观测信息有明显遮挡或延迟，例如机器人夹取物体时手部遮挡物体状态。
• 任务要求隐式推理，例如棋类游戏里看不到对方手牌，只能根据出牌历史推断。
• 奖励稀疏且环境动态性强，需要智能体记住之前探索过的区域，避免重复搜索。

反之，如果任务本质上接近全观测，或者观测已经包含了所有决策信息，这类算法的优势会被抵消。你付出的额外成本是循环前后向计算和序列缓存，复杂度比普通PPO高一截，但收益有限。所以上这类算法前，先确认任务是否真的存在“看不见的状态”。

5.4 后续可以扩展的方向

我自己实验下来，下一个值得探索的方向是把记忆模块和不确定性估计进一步解耦。比如让智能体在置信状态高度不确定时，主动执行“信息探索”动作——看左边、翻页、再测一次，而不是在行动时才用记忆硬憋。这类算法在训练时已经产生了很好的隐状态，差的只是把隐状态里的不确定度显式映射为探索策略。如果你做的是实际部署项目，这一点会非常有价值。

另外，长序列下的显存优化也还有很大空间。现在固定长度截断已经能用，但更顺滑的做法是引入自动长度调整：回合前半段用短窗口截断，后半段记忆积累多了再逐步加长，在显存有限时能明显提升效果。

最后分享一个小体会：复现这类POMDP策略算法，最难的地方不是看懂模型结构，而是意识到“序列顺序”和“隐状态质量”比任何单个超参数都重要。我调参半个月，前面三天一直在改学习率和网络宽度，效果一般，后来把时间用在正确设计经验缓存和辅助损失上，性能突然就上去了。所以如果你也在折腾类似的方案，先把历史和记忆当成第一公民对待，后续调参会顺很多。