論文
人工知能が生成した仮想データで性能を高める法則を発見しました
Rewriting Scaling Laws for Synthetic Data with Compute and Data Constraints
- 何を
- 言語モデルが自然言語の文書を別のスタイルに書き直した仮想データ(Synthetic rewrites)を事前学習に活用する際、計算量とデータの限界の中で最適な割合と性能を予測する法則を研究しました。
- 主な結果
- コンピュータの計算量が増えるほど仮想データの最適比重が増加し、自分より大きなモデルや同じサイズのモデルが作成した仮想データで学習したモデルが、元のデータのみを使用したモデルよりも優れた性能を示しました。
- 意味
- 仮想データを活用した人工知能の学習方法が予測可能であり、これを通じてデータの限界を克服し効率的に性能を改善できることを示唆しています。AI要約