研究：2019 至 2025 年预训练效率提升主要来自数据

研究分析了 2019 至 2025 年预训练进展中数据与模型改进的贡献。研究在较小规模上进行，使用每年公开的模型配方与数据语料，在最高 1e19 FLOPs 的训练计算规模上组合训练。结果显示，在 1e19 FLOPs 计算预算下，数据改进带来的计算效率增益为 12.0 倍，模型改进为 3.7 倍，数据侧增益约为模型侧的 3.24 倍。数据与模型改进的增益大体独立，几乎不交互，线性模型下二者加性效应可解释 OLMES 分数 88% 的方差。模型侧从 GPT-2 演进至 OLMo-2，涵盖优化器、位置编码、归一化、激活函数与初始化等。数据侧从 2019 年约 90 亿 token 的 OpenWebText，演进至 2025 年规模更大、过滤更精细的 UltraFineWeb 等语料。