人工知能が生成した仮想データで性能を高める法則を発見しました

研究の背景

人工知能モデルの学習時に自然言語の文書を別のスタイルに変換した仮想データが広く使われていますが、どれだけの計算量を投資すべきか、あるいはモデルが自分を教えたモデルよりも優れることができるのかなどはよく分かっていませんでした。

手法

研究陣はモデルサイズ、学習トークン数、仮想データの割合、元のデータの学習回数などをもとに損失を予測する書き換えスケーリング則（rewriting scaling law）を提案し、計算量制限の状況とデータ制限の状況の2つの条件でこれを検証しました。

主な結果

計算量の増加に伴い最適な仮想データの割合が増加することを確認し、30億個以下のパラメータを持つモデルにおいて、自ら作成した仮想データで学習した場合が元のデータのみを使用した場合よりも優れた性能を記録しました。

限界・確認すべき点

抄録に言及されていない多様なアーキテクチャや実際の産業現場の複雑な応用環境における長期的な影響は、抄録だけでは確認できません。

用語解説

• 事前学習 — 人工知能モデルが本格的な作業に入る前、膨大なデータを通じて基本的な言語能力を養う初期の学習段階です。
• トークン — 人工知能が文章を理解して処理するために分割する最小限の言語単位です。
• パラメータ — 人工知能モデルの脳細胞のネットワークのような役割を果たし、学習を通じて調整される設定値です。