TriAttention matches Full Attention reasoning accuracy while achieving 2.5x higher throughput or 10.7x KV memory reduction
大多数人认为在大幅压缩KV缓存时必然会牺牲模型推理的准确性，但作者声称TriAttention在实现10.7倍内存减少的同时，仍能保持与完整注意力相同的推理准确性。这一结果挑战了业界在KV压缩与准确性之间的权衡认知。
1 Matching Annotations
- Last 7 days
-
huggingface.co huggingface.co
-