30 tokens per second is not bad, well within typical frontier model API range.
30 tok/s 是一个关键的体验临界数据。作者通过实证对比指出，经过MTP加速的本地27B模型，其生成速度已经能够媲美商业API的响应水平。这打破了“本地模型必然慢到无法用于实际开发”的刻板印象，证明了本地模型已进入实用级速度。
1 Matching Annotations
- Last 7 days
-
-