the trained 4B model exceeding GPT-4.1 (49.4 percent) and GPT-4o (42.8 percent) despite being 50 times smaller
大多数人认为AI模型的大小与性能直接正相关，更大的模型必然表现更好。但作者展示了一个仅40亿参数的模型通过强化学习训练后，性能超越了比它大50倍的GPT-4.1和GPT-4o，挑战了当前AI领域'参数规模决定一切'的主流观点。
3 Matching Annotations
- Last 7 days
-
arxiv.org arxiv.org
-
- Aug 2022
-
www.nature.com www.nature.com
-
McDiarmid, A. D., Tullett, A. M., Whitt, C. M., Vazire, S., Smaldino, P. E., & Stephens, J. E. (2021). Psychologists update their beliefs about effect sizes after replication studies. Nature Human Behaviour, 5(12), 1663–1673. https://doi.org/10.1038/s41562-021-01220-7
-
- Oct 2018
-
iphysresearch.github.io iphysresearch.github.io
-
Approximate Fisher Information Matrix to Characterise the Training of Deep Neural Networks
深度神经网络训练(收敛/泛化性能)的近似Fisher信息矩阵表征，可自动优化mini-batch size/learning rate
挺有趣的 paper，提出了从 Fisher 矩阵抽象出新的量用来衡量训练过程中的模型表现，来优化mini-batch sizes and learning rates | 另外 paper 中的figure画的很好看 | 作者认为逐步增加batch sizes的传统理解只是partially true，存在逐步递减该 size 来提高 model 收敛和泛化能力的可能。
-