人工知能の学習プロセスにおける暗記と汎化の移行を追跡する診断ツールの開発

研究の背景

人工知能モデルが単にデータを暗記しているのか、あるいは新しいデータに適用できる能力を備えているのかを把握することは重要です。本研究は、パラメータ化理論で提案されたログ整列比率（LAR）を再解釈し、これを診断に活用しようとしました。

手法

研究陣は、LARを重みスペクトルと活性化学スペクトルの間の重複として再構築し、学習中のこれらの値の広がりを分析しました。これは追加の検証データなしに順伝播の過程でほとんど負担なく計算することができます。

主な結果

グロッキング現象において、LARは学習された関数の有効次元を予測し、30億個のパラメータを持つ言語モデルの事前学習では、過学習の基準線との差が汎化ギャップを追跡し、過学習に近づくほど減少率が速くなることを示しました。

限界・確認すべき点

抄録の内容だけでは、この診断法が実際のの大規模な産業現場におけるすべてのモデル最適化にどの程度の実効性を持つかを詳細に把握することは困難です。

用語解説

• ログ整列比率（LAR） — 人工知能内部のパラメータと入力に対する反応がどれほどよく整列しているかを測定する指標です。
• 汎化 — 人工知能が学習に使用されていない新しいデータでも正しい判断を下す能力です。
• 過学習 — 人工知能が学習データに過度に適合し、新しいデータではかえって性能が低下する現象です。