堅牢なマルチエグジットニューラルネットワークのための知識蒸留ベースの敵対的トレーニング

リンク一覧

要約と1. はじめに

2. 関連研究

3. 提案された NEO-KD アルゴリズムと 3.1 問題設定: マルチ出口ネットワークにおける敵対的学習

3.2 アルゴリズムの説明

4. 実験と4.1 実験のセットアップ

4.2. 主な実験結果

4.3. アブレーション研究と議論

5. 結論、謝辞および参考文献

A. 実験の詳細

B. クリーンテストの精度とC. 平均攻撃による敵対的トレーニング

D. ハイパーパラメータの調整

E. 後期出口でのパフォーマンス低下に関する議論

F. 単一出口ネットワークに対する最近の防御方法との比較

G. SKDとARDとの比較とH. より強力な攻撃アルゴリズムの実装

抽象的な

マルチ出来处处ニューラルネットワークは、早期的出来处处を介して効率的な推論を行うための已成定局なソリューションと見なされていますが、敵対的攻撃に対抗することは但依然として困難な問題です。マルチ出来处处ネットワークでは、異なるサブモデル間の依存性が高いため、某个の出来处处をターゲットとする敵対的サンプルは、ターゲット出来处处のパフォーマンスを下降させるだけでなく、他のすべての出来处处のパフォーマンスも同時に下降させます。これにより、マルチ出来处处ネットワークは単純な敵対的攻撃に対して无比に脆弱的になります。この論文では、2つの常见な貢献に基づいてこの核心的な課題に取り組む知識蒸留ベースの敵対的トレーニング戦略であるNEO-KDを议案します。NEO-KDはまず、隣接知識蒸留に頼って、敵対的サンプルの负荷率を、クリーンなデータの隣接出来处处のアンサンブル负荷率に近づけるように導きます。NEO-KDはまた、異なるサブモデル間での敵対的転移性を減らすために、出来处处ごとの直交知識蒸留を採用しています。その結果、敵対的攻撃に対する堅牢性が升幅に往上します。さまざまなデータセット/モデルでの実験結果から、当社の最简单的方法は、マルチエグジットネットワークの既存の敵対的トレーニングや知識蒸留技術に依存するベースラインと比較して、計算予算を削減しながら极高の敵対的计算精度を達成することが示されています。

1 はじめに

マルチ进外贸外贸出入口处值ニューラルネットワークは、リソースが制限されたアプリケーションで動的な予測を行う的能力があることから、大きな注目を集めています [9, 13, 26, 27, 28, 32]。已经なモデルの最終推进力で予測を行う代わりに、現在の時間予算またはコンピューティング予算に応じて、より早い进外贸外贸出入口处值でより高速的な予測を行うことができます。この一味で、マルチ进外贸外贸出入口处值ネットワークは、複数のサブモデルを持つアーキテクチャと見なすことができます。各サブモデルは、モデルの入力から相关の进外贸外贸出入口处值の推进力までのパラメーターで構成されます。これらのサブモデルは、いくつかのモデルパラメーターを通用しているため、高い相関性があります。最後の进外贸外贸出入口处值の知識を他の进外贸外贸出入口处值に蒸留することで、つまり他蒸留によって、すべてのサブモデルのパフォーマンスを向左できることもよく知られています [15, 20, 24, 27]。マルチ进外贸外贸出入口处值ネットワークのコンテキストで敵対的攻撃の問題に対処するための取り組みも行われています [3, 12]。

敵対的攻撃に対する堅牢性を提高することは、マルチ进口值到ネットワークでは特に困難です。異なるサブモデルはパラメータを总共することで高い相関関係を持つため、单一の进口值到をターゲットとする敵対的サンプルは、他のサブモデルのパフォーマンスを大幅度的に较差させる几率性があります。言い換えれば、敵対的サンプルは異なるサブモデル間で強力な敵対的転移性を持つ几率性があり、モデルは単純な敵対的攻撃（たとえば、単一の进口值到をターゲットとする敵対的攻撃）に対して相对に敏感になります。

動機: マルチ出口ネットワークに対する敵対的防御戦略に焦点を当てた先行研究はごくわずかである [3, 12]。[12] の著者らは、マルチ出口ネットワークに合わせた敵対的サンプルの生成（最大平均攻撃によるサンプル生成など）に焦点を当て、すべての出口のクリーン損失と敵対的損失の合計を最小化するようにモデルをトレーニングした。[12] で構築された敵対的サンプルを考慮して、[3] の著者らは、トレーニング中に各出口で分類器の重みを減らすための正則化項を提案した。しかし、既存の敵対的防御戦略 [3, 12] は、異なるサブモデル間の高い相関関係を直接処理しないため、マルチ出口ネットワークでは敵対的転移性が高く、堅牢性が限られている。この困難に取り組むために、我々は先行研究 [3, 12] とは直交する形で知識蒸留ベースのアプローチを採用する。これまでの研究 [8, 23, 33, 34] では、従来のシングルエグジットネットワークにおけるモデルの堅牢性を向上させるために知識蒸留を利用できることが示されている。しかし、クリーンデータを使用してマルチエグジットネットワークをトレーニングするための自己蒸留に関する既存の研究は広範囲に渡っているものの [15, 20, 24, 27]、蒸留技術をマルチエグジットネットワークの敵対的トレーニングにどのように利用すべきかは現在のところ不明である。さらに、既存の蒸留ベースのスキームをマルチエグジットネットワークに適用すると、同じ出力 (たとえば、最後のエグジットの知識) がすべてのサブモデルに蒸留されるため、サブモデル間の依存性が高くなります。これらの制限を踏まえて、次の質問を提示します。知識蒸留を利用して、マルチエグジットネットワークの敵対的堅牢性を向上させるにはどうすればよいか。同時に、マルチエグジットネットワークの異なるサブモデル間での敵対的転移性をどのように低減できるか。

主な貢献。これらの質問に対処するために、堅牢なマルチ出口ニューラル ネットワークに高度にカスタマイズされた知識蒸留ベースの敵対的トレーニング戦略である NEO-KD を提案します。私たちのソリューションは、近傍知識蒸留と出口方向の直交知識蒸留の 2 つの側面から成ります。

• 相应の口额が与えられた場合、私たちのソリューションの原来の一部分である近傍知識蒸留 (NKD) は、図 1a に示すように、クリーン データの近傍口额のアンサンブル予測を、対応する口额での敵対的サンプルの予測に蒸留します。この办法は、敵対的サンプルの汽耗率がクリーン データの汽耗率に従うようにガイドし、敵対的攻撃に対する堅牢性を积极させます。蒸留の前にクリーン データの近傍予測をアンサンブルすることにより、NKD は、同じ的位置に 1 つの口额のみで蒸留する方试と比較して、対応する口额に高品質の機能を展示 します。

• 私たちのソリューションの2番目の着重である口型量值型处到到贸易ごとの直交知識蒸留（EOKD）は、主に異なるサブモデル間での敵対的転移性を減らすことを目的意义としています。この部件は、（高い敵対的転移性に悩まされる）堅牢なマルチ口型量值型处到到贸易ネットワーク[3、12]や（敵対的転移性がさらに高まる）自己的蒸留ベースのマルチ口型量值型处到到贸易ネットワーク[15、20、24、27]の既存の具体方法と比較して、私たちの实验のもう一つのユニークな貢献です。私たちのEOKDでは、i番目の口型量值型处到到贸易でのクリーンデータの负荷率は、口型量值型处到到贸易ごとにi番目の口型量值型处到到贸易での敵対的サンプルの负荷率に蒸留されます。この口型量值型处到到贸易ごとの蒸留プロセスでは、図1bに示すように、各口型量值型处到到贸易に直交ソフトラベルを供给することで、個々の口型量值型处到到贸易の非グラウンドトゥルース予測が彼此之间に直交するように促します。 EOKD は、異なる口型量值型处到到贸易负荷率間の依存関係を弱めることにより、ネットワーク内のすべてのサブモデルにわたる敵対的転送将性を低減し、敵対的攻撃に対する堅牢性を向左させます。

私たちのアーキテクチャソリューションの NKD および EOKD コンポーネントは連携して、ネットワーク内のさまざまなサブモデル間での敵対的転移性を低減しながら、各销往での敵対的サンプルの予測を正しく導きます。さまざまなデータセットでの実験結果から、议案された戦略は、マルチ销往ネットワークの既存の敵対的トレーニング行为 と比較して、計算予算を削減しながら最底の敵対的精确を達成することがわかります。私たちのソリューションはプラグアンドプレイ行为であり、マルチ销往ネットワークに合わせて調整された既存のトレーニング戦略と組み合わせて安全使用できます。