找到了利用人工智能生成的虚拟数据提升性能的规律

研究背景

在训练人工智能模型时，将自然语言文档转换为其他样式的虚拟数据被广泛使用，但需要投入多少计算资源以及模型是否能超越教导自己的模型等问题尚不明确。

方法

研究团队基于模型大小、训练词元数、虚拟数据比例、原始数据训练轮数等，提出了预测损失的改写规模定律（rewriting scaling law），并在计算资源受限和数据受限两种条件下对其进行了验证。

主要结果

确认了随着计算资源的增加，最佳虚拟数据比例也会增加；在拥有30亿或更少参数的模型中，使用自己生成的虚拟数据训练的情况比仅使用原始数据的情况取得了更好的性能。

局限与待确认之处

仅凭摘要无法确认摘要中未提及的各种架构或实际产业环境中复杂应用情况下的长期影响。

术语解释

• 预训练 — 人工智能模型在进入正式任务之前，通过海量数据培养基本语言能力的初期学习阶段。
• 词元 — 人工智能为了理解和处理句子而划分的最小语言单位。
• 参数 — 起到人工智能模型脑细胞连接网等作用，通过学习进行调整的设定值。