# What Matters for Aggressive Decoding‑Time KV Eviction? Temporal Aggregation and Ranking Preservation
> arXiv:2609.03515｜EMNLP 2026 主会论文
## 一、文章主要内容总结
本文针对**解码阶段KV Cache激进驱逐（aggressive KV eviction）**场景展开研究。现有KV Cache压缩工作大多聚焦设计更好的token打分函数，而**跨解码步的分数时序聚合规则**往往被当作实现细节，很少被作为独立设计维度研究。
1. **核心实验发现**
在高压缩率（激进压缩）条件下，采用EMA（指数移动平均）做时序聚合时：
- 近似保序的打分函数改动，最终被驱逐/保留的token集合几乎没有区别；`value‑norm`、`entropy`打分和注意力分数高度相关，保留集合几乎不变。
- `KeyDiff`、key norm、时间近邻recency、可学习打分器这类会彻底改变token排序的打分方案，性能会出现明显退化。
- 该现象来源于**排序惯性（ranking inertia）**：EMA同时耦合了层权重与时序保留，会平滑单步打分噪声，但代价是对重要性发生变化的token产生适配滞后。
2. **提出方法**
- **InertiaKV**：基于EMA时序聚合的解码时KV驱逐算法，利用排序惯性稳定驱逐决策。
- **InertiaKV‑Lazy**：周期刷新版本，不用每一步都更新打分，相比全量刷新的InertiaKV，解码吞吐量提升**1.34‑1.46倍**，质量损失很小。
- **Score‑Free解码**：仅在解码
