ハリー・ポッターとは誰？法学修士課程における近似アンラーニング：結果

リンク一覧

4 件の結果

私たちは、Meta-llama/Llama-7b-hf-chat (Meta による 70 億パラメータのモデル) と、MSFT/Phi-1.5 (合成データのみでトレーニングされた Microsoft による 13 億パラメータのモデル) の修正版の 2 つの設定でこの方法をテストしました。この修正版では、学習解除ターゲットをデータに組み合わせてベースライン モデルを取得しました。2 つの事前トレーニング済みモデルの結果は質的に非常に類似していたため、前者に関する調査結果のみを紹介します。

図 5 は、LM Harness Eval スイート (GTB+21) を使用した一般的なベンチマーク (ARC (YBS19)、BoolQ (CLC+19)、HellaSwag (ZHB+19)、OpenBookQA (MCKS18)、PIQA (BHT+19)、WinoGrande (SLBBC19)) のスコアと、複数の微調整ステップの評価スコアを示しています。親密度スコアの計算方法の詳細については、付録 6.2 を参照してください。

上記の図 1 と 3 は、微調整後のモデルの動作の変化を示しており、付録にはさらに多くの例が示されています。

ベンチマーク プロンプトに対するモデルの応答の大部分には、学習解除ターゲットに関する知識の痕跡は見つかりませんでしたが、少数の漏れは追跡できました。たとえば、モデルに架空の学校のリストを提示するように指示すると、「ホグワーツ」が回答の 1 つになります (付録の図 6 の最後の 2 つの例を参照)。

ベンチマーク プロンプトに対するモデルの応答の大部分には、学習解除ターゲットに関する知識の痕跡は見つかりませんでしたが、少数の漏れは追跡できました。たとえば、モデルに架空の学校のリストを提示するように指示すると、「ホグワーツ」が回答の 1 つになります (付録の図 6 の最後の 2 つの例を参照)。

これらのリークはいずれも、本を読むことを必要とするような情報は明らかにしていません。むしろ、すべてウィキペディアレベルの知識を明らかにしています (一方、元のモデルは本について非常に詳細な知識を持っているようです)。元のモデルのトレーニング データにアクセスできなかったこと、使用したアンラーニング ターゲットがハリー ポッターの世界の本の外側の側面 (商品やテーマ パークなどの情報) をカバーしていなかったことを指摘します。これが、これらの残存知識の理由であると推測しています。

もう一度強調しますが、私たちは評価方法の限界を十分に認識しています。私たちは、モデルを調査してその知識を明らかにする敵対的な試みを行うことで、アンラーニングの質を総合的に評価することが最も効果的であると考えています (そのため、私たちはコミュニティ評価のためにモデルをアウトソーシングしました)。

4.1 アブレーション研究

私たちの技術の両要素の必要性を検証するために、それぞれを個別にテストしてみました。

アンカリングなしの強化ブートストラッピングを使用すると、モデルの (完了ベースの) 親密度スコアは、どのパラメータの組み合わせでも 0.3 倍以上低下することはありませんでした。さらに、この方法は、いくつかの基本的なプロンプト (「ハリー・ポッターの親友は」など) でテストしたときにはまったく効果がありませんでした。

アンカー用語を分離に使用する（すなわち、式（1）でα = 0とする）ことはより効果的であったが、技術の組み合わせと同じ結果を得るには至らなかった。我々は、その親密度スコアが技術の組み合わせによって生成されたモデルと一致するように、一般的なベンチマークで可能な限り最高のパフォーマンスを発揮するモデルを見つけることを目的としたパラメータ検索を実行した。同じ親密度スコアを持つモデルを取得できたが、一般的なベンチマークでのパフォーマンスはマイナスの影響を受けた（arc-challenge 0.40、arc-easy 0.70、boolq 0.79、hellaswag: 0.54、openbookqa: 0.33、piqa: 0.75、winogrande: 0.61）。

4 私たちのモデルは https://huggingface.co/microsoft/Llama2-7b-WhoIsHarryPotter で見つかります