The irony is that the very mechanism that makes LLMs powerful during training (e.g. compressing raw data into compact, transferable representations) is exactly what we refuse to let them do after deployment.
这是一个极具洞察力的反直觉观点。文章指出，正是训练过程中使LLMs强大的压缩机制，在部署后却被我们拒绝使用。这暗示我们可能正在错失让AI真正进化的关键机会，同时也提出了一个重要问题：为什么我们不让AI在部署后继续学习？
a free model that matches GPT-4o and runs entirely on your phone
这一声明揭示了AI模型小型化和普及化的惊人速度，表明前沿AI技术从云端到移动设备的迁移只需23个月，这种压缩速度远超以往任何技术革命，将彻底改变AI的可用性和普及范围。
In 23 months, the same capability that needed 1.8 trillion parameters now fits in 4 billion parameters. A 450x compression.
令人惊讶的是：AI模型参数量在短短23个月内实现了450倍的压缩，这意味着原本需要超级计算机才能运行的强大AI模型现在可以完全在手机上运行。这种技术进步的速度远超摩尔定律，展示了算法优化和模型压缩技术的惊人突破。
a free model that matches GPT-4o and runs entirely on your phone
大多数人认为顶级AI模型需要庞大的计算资源和云端支持，但作者认为免费模型Gemma 4 E4B已经能在手机上完全运行并匹敌GPT-4o的性能，这打破了人们对AI模型大小和资源需求的固有认知。
31B QLoRA：22GB 显存可运行
令人惊讶的是：310亿参数的模型现在只需要22GB显存就能运行，这比传统方法节省了大量计算资源，使得在消费级硬件上运行大型语言模型成为可能， democratizing AI access。