the best data filter may be **no filter**, with projections suggesting the crossover for internet-scale pools lands around **1e30 FLOPs**
这一数据点提出了一个有趣的假设：在足够大的计算规模(约1e30 FLOPs)下，不进行数据过滤可能是最佳选择。这一数字远超当前实际可用的计算资源，表明这一理论极限尚未在实践中达到。然而，这一观点挑战了当前AI数据处理的最佳实践，可能暗示随着计算能力的持续增长，数据预处理的重要性可能会降低，这对AI基础设施的设计有重要启示。