Running every query through Opus 4.7 is the fastest path to negative gross margins. The best Rest of Oz companies route across tiers of models — frontier models for the hardest tasks, mid-tier for the bulk, smaller custom or fine-tuned models where they've earned the right to use them.
大多数人认为使用最先进的大模型总是最佳选择，能提供最佳结果。但作者认为这是通往负毛利的最快路径。相反，'Oz的其他部分'公司会根据任务难度分层使用不同级别的模型，只为最困难的任务使用前沿模型，为批量任务使用中等模型，为特定工作使用小型定制或微调模型。这种成本优化策略使它们能够提供更具竞争力的价格。
a lightweight surrogate trained on them can absorb a significant portion of future traffic at near-zero marginal inference cost
大多数人认为模型替换会带来明显的质量下降或需要持续监督。但作者提出轻量级代理模型可以'吸收大量未来流量'且'边际推理成本接近零'，这种近乎零成本的替代方式颠覆了传统模型替换的质量-成本权衡观念。
The extra tokens bought something measurable. +5pp on strict instruction-following. Small. Real. So: is that worth 1.3–1.45x more tokens per prompt?
这是一个令人惊讶的价值权衡案例。Anthropic用高达45%的token成本增加，只换来了5个百分点的指令遵循提升。这种不成比例的交换表明，在AI模型优化中，'微小但真实'的改进可能需要付出巨大成本，这挑战了人们对技术改进应该'物有所值'的普遍假设。
Total cost: ~$29 ($20 in CPU VMs, $9 in API calls) over ~3 hours with 4 VMs.
令人惊讶的是：仅花费29美元和3小时，AI代理就实现了显著的性能提升（x86上提升15.1%，ARM上提升5%）。这种低成本高效能的优化方式颠覆了传统认为高性能优化需要大量人力和时间的观念。
Artificial Analysis has also positioned Gemini 3.1 Flash TTS within its 'most attractive quadrant' for its ideal blend of high-quality speech generation and low cost.
令人惊讶的是：这个模型不仅质量高，而且成本效益也非常出色，在'最具吸引力象限'中占据一席之地。这表明Google在平衡AI性能和商业可行性方面取得了显著突破，这对大多数用户来说是意想不到的。
This means 2.7x more tokens from the same GB300 NVL72-based infrastructure and power footprint, reducing the cost to manufacture each token by more than 60%.
大多数人认为硬件升级是提高AI性能的主要方式，但作者认为通过软件优化可以在相同硬件上实现2.7x的性能提升和60%以上的成本降低，这挑战了行业对硬件升级的依赖。这种观点暗示软件优化可能比硬件升级更具成本效益。