The bundle includes four models, including Gemma's first MoE model, which can all fit on a single NVIDIA H100 GPU and supports over 140 languages.
大多数人认为支持140多种语言的多模态模型需要大量计算资源，无法在单个GPU上运行。但作者声称这些模型可以全部适配在单个H100 GPU上，这挑战了我们对大型多语言模型资源需求的认知，暗示模型效率可能大幅提升。