Classic scaling laws assume effectively _unlimited unique data_, no repetition, and no multi-epoch training.
经典缩放定律假设有无限独特数据，这在现实中几乎不可能。初学者常忽略数据有限性对模型训练的影响，导致过度依赖理论预测。实际应用中需考虑数据重复、质量有限等因素对缩放定律的影响。
1 Matching Annotations
- Last 7 days
-
lilianweng.github.io lilianweng.github.io
-