we use the distance preference characterized by these centers to score keys according to their positions, and also leverage Q/K norms as an additional signal for importance estimation
大多数人认为KV缓存压缩主要基于注意力分数或内容相似性，但作者提出使用向量中心决定的距离偏好和Q/K范数作为重要性估计的信号。这一方法将注意力机制从传统的基于内容相似性转向基于几何特征，是一种全新的压缩思路。