The variance is also worth noting: baseline+FA TG has ±19 t/s of noise, while optimized+FA has ±0.59 t/s on x86. The fusions eliminate intermediate writes that pollute the cache, making the hot paths more predictable.
这一数据揭示了优化的一个意外但重要的好处：不仅提高了性能，还显著降低了结果变异性。这表明通过减少缓存污染和内存访问模式的不确定性，优化可以使系统行为更加可预测。这一发现对构建可靠的高性能系统具有重要意义，强调了优化的一致性而不仅仅是峰值性能。
KV Cache 内存占用降低 10.7 倍
令人惊讶的是：KV Cache内存占用降低了惊人的10.7倍，这一数字远超普通技术优化的幅度。KV Cache是大模型推理中的主要内存消耗部分，如此大幅度的减少意味着同样的硬件可以处理更长的上下文，或者同时运行更多模型实例。
the design of the retrieval and cache policy, especially how they decide what to keep, reuse, or drop across scenes, seems to be what actually drives the latency and throughput gains
大多数研究者可能关注模型架构或算法创新来提升性能，但评论者指出检索和缓存策略的设计才是延迟和吞吐量提升的关键。这一观点挑战了AI研究中过度关注模型本身的倾向，暗示系统优化和资源管理策略可能比模型架构创新对性能影响更大，这是一个反直觉的系统设计见解。