KV Cache 公式纸

对应文章《从逐词生成理解 KV Cache》· 一页，方便对照数量级

显存

KV 显存与层数 L、头维 H、序列长度 T、批量 batch 成正比。

KV memory ∝ 2 × L × H × T × batch

数量级

模型batch × 序列现象
70B长上下文KV 会先于权重量满一张卡
7Bbatch 8 × 32K消费卡也会先被 KV 撑满

和计算的关系