スタンフォード大学と Google の研究者が DoReMi を提案: 言語モデルをトレーニングするためにデータ ドメインの重み付けを再調整する AI アルゴリズム

データセットは、言語モデル (LM) のトレーニング中にさまざまなドメインから抽出されることがよくあります。 たとえば、The Pile と呼ばれる大規模な公的にアクセス可能なデータセットには、オンライン データが 24%、Wikipedia が 9%、GitHub が 4% などで構成されています。事前トレーニング データの構成は、LM のパフォーマンスに大きな影響を与えます。 さまざまな下流タスクで優れたモデルを作成するには、各ドメインをどの程度含めるべきかを明確にする必要があります。 既存の研究では、直観または一連の下流タスクを使用して、各ドメインのドメインの重みまたはサンプル確率を確立しています。 たとえば、The Pile はヒューリスティックに選択されたドメインの重みを採用していますが、これは最良の選択ではない可能性があります。

この研究では、Google とスタンフォード大学の研究者が、下流のタスクの集合に基づいてドメインの重みを最適化するのではなく、ドメイン全体にわたる最悪の場合の損失を最小限に抑えることで、すべてのドメインで良好にパフォーマンスするモデルを提供するドメインの重みを特定しようとしています。 各ドメインに固有の最適損失 (エントロピーとも呼ばれる) があることを考慮すると、単純な最悪の場合の戦略では、最もノイズの多いデータを持つドメインにより多くの重みが与えられます。 ただし、PaLM や GLaM などの既存の LM では、さまざまなドメインの重みでおそらく数千の LM をトレーニングし、下流のタスクの特定のセットに過剰適合する可能性が伴います。PaLM や GLaM は、下流のアクティビティのセットに基づいてドメインの重みを調整します。

これは、後で実行されるタスクを意識することなく、分散ロバスト最適化 (DRO) を使用してドメインの重みを調整する、同社の手法である Domain Reweighting with Minimax Optimization (DoReMi) の原動力となっています (図 1)。 DoReMi は、従来どおり 2 億 8,000 万のパラメータを備えた小さな参照モデルをトレーニングすることから始まります。 最悪の場合の超過損失 (参照モデルの損失と比較して) を削減するために、小規模な分散耐性言語モデル (DRO-LM) も導入されています。 特に、堅牢な LM ではなく、DRO トレーニングによって生成されたドメインの重みを使用します。 彼らの戦略では、堅牢なモデルを作成する代わりに、DRO-LM フレームワークを使用してドメインの重みを最適化します。 次に、これらのドメインの重みによって指定された新しいデータセットで大きな (8B) LM がトレーニングされます。

ミニバッチからインスタンスをサブ選択する代わりに、Group DRO のオンライン学習ベースのオプティマイザーを使用します。これは、トレーニング目標を再スケーリングするために各ドメインの損失に応じてドメインの重みを動的に変更します。 その後、DoReMi は、DRO トレーニング ステージ全体で平均化されたドメインの重みを使用します。 The Pile と GLaM データセットのドメイン重みを最適化するために、2 億 8000 万のプロキシ モデルと参照モデルで DoReMi を実行します。 30 倍を超える 8B パラメータ LM は、DoReMi ドメインの重みを使用して学習されます。 ドメインの重みが軽減されている場合でも、DoReMi は、ベースラインのドメインの重みと比較して、すべてのドメインにわたって The Pile の混乱を軽減します。

生産的な数ショットのタスクでは、DoReMi は、The Pile のデフォルトのドメイン重みでトレーニングされたベースライン モデルより 2.6 倍の速さでダウンストリーム ベースライン精度に到達し、平均ダウンストリーム精度が 6.5% 向上します。 彼らは、The Pile を使用して学習される将来の LM を強化するために、調整されたドメインの重みをリリースします。 彼らは、最適化されたドメインの重みでトレーニングされたメイン モデルとプロキシ モデルのサイズが変更された場合、DoReMi が一貫して LM トレーニングを強化することを発見しました。 DoReMi は、GLaM データセットでの下流タスクのパフォーマンスに関するドメイン重みの調整よりも優れたパフォーマンスを発揮し、下流タスクでドメインの重みを調整することが可能です。

チェックアウトしてください紙。忘れずに参加してください22,000 以上の ML SubReddit、Discordチャンネル、 そしてメールニュースレターでは、最新の AI 研究ニュースやクールな AI プロジェクトなどを共有します。 上記の記事に関してご質問がある場合、または何か見逃した場合は、お気軽にメールでお問い合わせください。[email protected]

🚀 AI Tools Club で 100 年代の AI ツールをチェックしてください

Aneesh Tickoo は、MarktechPost のコンサルティング インターンです。 彼は現在、ビライのインド工科大学 (IIT) でデータ サイエンスと人工知能の学士号を取得中です。 彼はほとんどの時間を、機械学習の力を活用することを目的としたプロジェクトに取り組んでいます。 彼の研究対象は画像処理であり、それを中心としたソリューションの構築に熱心に取り組んでいます。 彼は人々とつながり、興味深いプロジェクトに協力することが大好きです。