自己教師あり学習・強化学習・効率的アテンションの統合 — 設計上の立場

著者: Asher Bond (asher.bond@distillative.ai)

要旨

本稿は、確立された三つのパラダイム——自己教師あり学習、強化学習、そして効率的な自己アテンション——を、高階関数（HOF）認知のための単一のアーキテクチャへと統合する。表現の基盤には自己アテンション [1] を、効率化層には FlashAttention [2] を据え、ラベル依存を低減する自己教師あり補助目的を組み込み、意思決定には強化学習（RL）を用いる。効率化層の主張は厳密である。すなわち、厳密計算である FlashAttention [2] はメモリと IO を削減し、これによって固定メモリのもとでより長い文脈が現実的なコストで扱えるようになる。これはアテンションの漸近的な演算量を変えるものではなく、本稿もそのような主張は一切行わない。統合されたエージェントは、その構成要素が抱える既知の失敗モード——生成モデルにおけるハルシネーション [3]、および継続学習下での破滅的忘却 [4, 5]——をそのまま引き継ぐ。本稿はこれらを、アーキテクチャが保持しなければならない設計上の制約として明示する。

1. はじめに

ここで統合するのは三つのパラダイムである。自己アテンション [1] は、入力の各要素を他のすべての要素へと単一の層で関係づける表現基盤を与える。自己教師あり学習 は、データそれ自体から学習信号を導く（たとえばマスクされた内容や未来の内容を予測する）ことでラベルへの依存を低減する——これは事前学習済み言語モデルを有効たらしめたのと同一の機構である [6, 7]。強化学習 は、相互作用を通じた報酬最大化として意思決定を定式化する。本アーキテクチャは、効率的アテンション [2] を基盤とし、その上で自らの補助目的を生成し方策を学習するエージェントを構成する。これは既知の部品の合成であり、一つの設計として提示する。

2. 関連研究

アテンションと効率性。 自己アテンションは [1] に由来し、FlashAttention [2] は、それをメモリトラフィックを削減しつつ計算するための、ベンチマークによって裏づけられた IO を意識した手法である。自己教師あり事前学習。 自ら生成した目的を介してラベルなしデータから学習することは、現代の事前学習済みモデルの基礎である [6, 7]。失敗モード。 生成モデルは依然としてハルシネーションを免れず [3]、逐次的に学習されたモデルは破滅的忘却を被る [4]。後者は Elastic Weight Consolidation [5] のような手法によって緩和される——いずれも継続的に学習するエージェントに直接関わる。合成。 知覚（アテンション）、自己教師、方策学習を再利用可能な段階として組み立てることは、関数合成の論理に従う [8, 9, 10]。

3. 提案する統合（IPO）

その根拠はモジュラリティにある。知覚・自己教師・制御は分離可能かつ交換可能な段階であり [9]、それぞれが他を書き換えることなく配置・置換できる。

4. 効率化層

厳密計算である FlashAttention [2] は、メモリおよびメモリ帯域幅 のコストを削減する——スコア行列の全体を materialize しない——ため、実時間（wall-clock）を短縮する。これは厳密アテンション [1] の漸近的な演算量（FLOP）を削減するものではない。RL エージェントにとっての利点はこの区別から直接導かれ、具体的である。すなわち、より長い観測文脈と行動文脈が固定メモリのもとで現実的なコストとなる。本アーキテクチャにおける効率性の主張は、公表された FlashAttention の結果 [2] に立脚するメモリ／IO の主張であり、まさにそのものとして述べられている。

5. アーキテクチャが保持しなければならない失敗モード

自らの相互作用から継続的に学習するエージェントは、破滅的忘却 [4] に晒される。これは EWC [5] のような手法によって緩和されるが、消去されはしない。本アーキテクチャはこれを、継続学習ループに対する第一級の制約として担う。生成的な構成要素は依然としてハルシネーションを免れない [3]。自己教師あり補助信号は学習信号を供給するが、それ自体で接地された出力を保証するわけではない。アテンションの重みは、ここでは表現として用いられるのであって、エージェントの決定に対する忠実な説明として用いられるのではない——それが決定を説明するか否かは別個の未解決問題であり、本設計はそれを説明とみなすことに依拠しない。

根拠と適用範囲

これは設計上の立場である。すなわち、自己アテンション [1]、FlashAttention [2]、自己教師あり目的、そして RL を、各段階が最も得意とする役割へと配置した、一貫性のある合成である。効率性についての言明は、公表された FlashAttention の成果 [2] に帰属するメモリ／IO の結果であって、演算量に関する結果ではない。統合されたエージェントが引き継ぐ失敗モード——破滅的忘却 [4, 5] とハルシネーション [3]——は、アーキテクチャがまさに保持するために構築される制約として明示されており、実装されたシステムが測定されるのはこの地点においてである。

参考文献

  1. Ashish Vaswani et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS). arXiv:1706.03762.
  2. Tri Dao et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2205.14135.
  3. Ziwei Ji et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys. arXiv:2202.03629.
  4. Michael McCloskey & Neal J. Cohen (1989). Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem. Psychology of Learning and Motivation.
  5. James Kirkpatrick et al. (2017). Overcoming Catastrophic Forgetting in Neural Networks. Proceedings of the National Academy of Sciences (PNAS). arXiv:1612.00796. [Elastic Weight Consolidation (EWC)]
  6. Jacob Devlin et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT. arXiv:1810.04805.
  7. Tom B. Brown et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2005.14165. [GPT-3]
  8. John Backus (1978). Can Programming Be Liberated from the von Neumann Style? A Functional Style and Its Algebra of Programs. Communications of the ACM. [1977 ACM Turing Award Lecture]
  9. John Hughes (1989). Why Functional Programming Matters. The Computer Journal.
  10. Christopher Strachey (2000). Fundamental Concepts in Programming Languages. Higher-Order and Symbolic Computation. [Reprint of 1967 lecture notes]