论文
找到了利用人工智能生成的虚拟数据提升性能的规律
Rewriting Scaling Laws for Synthetic Data with Compute and Data Constraints
- 做了什么
- 研究了语言模型在预训练中使用将自然语言文档改写为其他样式的虚拟数据(Synthetic rewrites)时,在计算资源和数据限制下预测最佳比例与性能的规律。
- 核心结果
- 随着计算机计算资源的增加,虚拟数据的最佳比重也随之增加;并且,用比自身更大的模型或同等大小模型生成的虚拟数据进行训练的模型,比仅使用原始数据的模型表现出更优异的性能。
- 意义
- 这表明利用虚拟数据的人工智能训练方法是可预测的,并通过此方法可以克服数据限制并高效地改善性能。AI 摘要