# GrowPage: On‑Demand KV Budgeting for Efficient LLM Reasoning Serving（arXiv:2609.03494）
> 论文链接：[https://arxiv.org/abs/2609.03494](https://arxiv.org/abs/2609.03494)
## 一、文章主要内容总结
大模型推理任务（思维链长输出）中，KV缓存是服务部署最主要的内存瓶颈。现有KV缓存压缩方案大多为**每个请求预先设置固定KV容量预算**，解码全程总容量不可变，仅选择保留哪些KV状态。但推理业务负载具有很强的动态性：不同请求需要的KV缓存大小差异大；同一个请求在生成过程中，注意力需求也会不断变化，固定预算容易出现内存过度分配或者缓存容量不足，损害推理质量。
本文提出 **GrowPage**，一套按需KV容量预算框架，将KV缓存容量视为运行时可动态调整的系统资源。
1. 为每个请求维护**双时间尺度查询摘要**（短时、长时），捕捉近期与长期注意力行为，通过二者的注意力工作集合，预估未来KV缓存的需求变化趋势。
2. 当达到当前KV容量边界时，二选一执行：①**就地压缩**：在现有分配的内存页内压缩历史KV缓存；②**物理页扩容**：当判断需要更大缓存时向全局内存池申请新物理内存页。
3. 深度兼容PagedAttention分页内存抽象，保留连续批处理、前缀缓存这些主流推理服务的核心优化特性，不需要推翻现有推理引擎架构。
4. 在多个推理基准、多款大模型上做实验，GrowPage实现比现有KV压缩方案更优的**推理精度‑吞吐量权衡**：在保证推理pass@1精度接近完整KV缓存的前提下显著提升token吞吐；相比Zipage等同样兼容Paged
