queries rotate with position during RoPE, making representative queries very few, leading to poor top-key selection and unstable reasoning.
大多数人认为RoPE旋转位置编码增强了模型对不同位置信息的区分能力，但作者认为这种旋转实际上导致了代表性查询减少，使得关键键选择质量下降，推理不稳定。这是一个反直觉的观点，因为RoPE通常被认为是一种改进位置编码的技术。