高階関数としての記憶想起 ― 長期ホライズン・エージェント記憶のための設計枠組み

Author: Asher Bond (asher.bond@distillative.ai)

要旨

長期ホライズンのエージェントタスク ― エンドツーエンドのソフトウェア開発、自律的な MLOps ― は、多数のステップにわたって文脈を持ち越すことを要求する。だが固定ウィンドウの Transformer モデル [1] は、これを本来的には行わない。本論文は、記憶想起を高階関数として 定式化する。すなわち想起とは、単一の静的な検索ステップではなく、実行時に原子的な検索操作 [2, 3, 4] から合成されるものであり、再ロードすべき先行状態のうちタスクに関連する部分集合のみを選び取る。この枠組みは、それが扱う二つの制約の上に立つ ― 知識を外部に保持し検索可能に保つべきとする破滅的忘却の議論 [5, 6] と、接地された生成にかかる検索品質の上界 [7, 8] ― そして、それが供給するウィンドウを律する効率的注意機構の成果、FlashAttention [9] の上に立つ。記憶は顕著性によって重み付けされ、検出ゲートを通じて受理される。信号検出理論 [10] はこのゲートに測定可能な構造を与え、Weber–Fechner の弁別閾は、二つの候補記憶がそもそも識別可能となる閾値を定める。このアーキテクチャの中心は、ステップごとの想起方針 ― 何を再ロードし、何を捨てるか ― にある。

1. 序論

多段パイプラインを統括するエージェントは、ステップ 1 で下した決定を、ステップ 40 での検証に結びつけなければならない。Transformer のコンテキストウィンドウ [1] は有限であり、先行状態をすべて素朴に連結することは、高コストであると同時にノイズも多い。設計上の応答は二つある。ウィンドウを拡大あるいは圧縮するか、状態を外部ストアに保持し、必要に応じて関連する断片を 検索する かである。本論文は後者を扱う。その主張は明快である。すなわち、長期ホライズン状態の検索方針は、固定するのではなく、ステップごとに選択すべきである。関連性がステップに依存するからだ。デプロイゲートで想起する価値があるものは、初期設計の段階で想起する価値があったものとは異なり、固定的な検索ステップはこの変化を追随できない。

その機構は合成である。想起は単一の操作ではなく、原子的な検索操作の一族 ― 新しさによる、段階による、依存関係による、意味的類似度による ― であり、当該ステップが要求する戦略へとステップごとに組み立てられる。この組み立てこそが高階関数である。すなわち、ステップの記述子を受け取り、実行すべき検索関数を返す関数である。

2. 関連研究

なぜ記憶は外部にあるべきか。 長期ホライズンの知識を重みに書き込むことは破滅的忘却 [5] を招き、これは EWC [6] のような正則化によってしか緩和されない。これが、パラメトリック記憶ではなく検索可能な外部記憶を正当化する標準的な論拠であり、本枠組みが立脚する基盤である。

検索による接地とその限界。 検索拡張生成 (RAG) [7] は、検索された状態が生成を条件づける機構である。検索品質は忠実性の上界を定め、不完全な接地のもとでは幻覚が残存する [8]。より優れた想起方針とは、具体的には、この上界への介入にほかならない。

効率的注意機構。 FlashAttention [9] は、メモリトラフィックを削減した IO 認識型の 正確な 注意機構であり、作業ウィンドウの充填を安価にするベンチマーク済みの成果である。これは想起された内容への注意を安価にするが、それ自体が記憶の 意味的 ホライズンを拡張するわけではない。後者こそ本論文が扱う検索問題である。両者は合成される。想起が断片を選び、FlashAttention がそれに効率的に注意を向ける。

合成。 文脈を受け取り検索関数を返す想起は、通常の意味における高階関数 [2, 3, 4] であり、それが合成する検索の原子は原子的関数である。本論文の寄与は、この合成をステップごとの記憶選択へ適用する点にある。

顕著性と検出。 記憶は顕著性によって重み付けされ、閾値を通じて受理される。これは検出問題である。信号検出理論 [10] はこれに構造を与える。想起された項目を受理するか棄却するかは、感度 (d′) と基準 (β) とに分離され、再現率と適合率のトレードオフは、ROC 曲線上での基準の移動である。Weber–Fechner の弁別閾は、二つの候補記憶が識別不能となり、それ以上別々に評価する必要がなくなる解像度を定める。これらは想起ゲートに適用された精神物理学である。

3. 枠組み ― 合成としての想起

長期ホライズン記憶を、先行状態のストアに、原子的検索操作のライブラリ (by-recency, by-stage, by-dependency, by-semantic-similarity) を加えたものとしてモデル化する。想起 HOF は、現在のステップの記述子を受け取り、それらの原子上に合成された検索戦略 [3] を返し、関連する断片のみを再ロードする。入力・処理・出力の用語で述べれば、次のようになる。

これによって得られる性質は、有界な作業集合である。すなわち、履歴全体ではなく、検索した分だけのコストを払う。選択こそがてこの効く場所である。誤った断片を受理する想起方針はそのステップを飢えさせ、受理しすぎる方針は、ウィンドウが逃れようとしたはずのノイズを再導入する。顕著性による重み付けと検出ゲートこそが、受理集合を小さく、かつ十分に保つ。

4. 具体例 (入力・処理・出力)

ソフトウェアパイプラインの デプロイ検証 ステップにあるエージェントを考える。

これは [ILLUSTRATIVE] である ― 具体的なステップ上での、合成の意図された振る舞いを示すものである。選択的な再ロードが依拠するのは、ステップごとの想起方針である。それは、40 ステップの履歴を捨てつつ、正しい判断を下すために必要な文脈を保持する。

5. 検証はどこに接地されるか

想起は、各候補記憶について受理か棄却かを決定する。そしてこの決定は検出問題である。信号検出理論 [10] はこれに測定可能な構造を与える。再現率と適合率のトレードオフは ROC 曲線上での基準 (β) の移動であり、想起の品質は感度 (d′) と閾値とに分離される。顕著性による重み付けは何が決定に入るかを定め、Weber–Fechner の弁別閾は、二つの候補を識別するに値する解像度を定める。これが想起ゲートの測定可能な核心である ― 枠組みが数値と出会う地点である。

根拠と範囲

想起 HOF は、分離され検証可能な変数 ― ステップごとの検索方針 ― を備えた設計である。外部記憶という基盤は破滅的忘却の議論 [5, 6] であり、その果実は、接地された生成を制約する検索の上界 [7, 8] への介入である。それが供給する作業ウィンドウは FlashAttention [9] によって注意を安価に向けられるものとなり、受理・棄却ゲートは信号検出理論 [10] に接地され、閾値は弁別閾に設定される。具体例は合成の振る舞いを例示するものである。想起ゲートの寄与は、ステップごとの選択的再ロード方針 ― 弁別閾における、信号検出理論 [10] に接地された受理・棄却の決定 ― にある。

参考文献

  1. Ashish Vaswani et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS). arXiv:1706.03762.
  2. John Backus (1978). Can Programming Be Liberated from the von Neumann Style? A Functional Style and Its Algebra of Programs. Communications of the ACM. [1977 ACM Turing Award Lecture]
  3. John Hughes (1989). Why Functional Programming Matters. The Computer Journal.
  4. Christopher Strachey (2000). Fundamental Concepts in Programming Languages. Higher-Order and Symbolic Computation. [Reprint of 1967 lecture notes]
  5. Michael McCloskey & Neal J. Cohen (1989). Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem. Psychology of Learning and Motivation.
  6. James Kirkpatrick et al. (2017). Overcoming Catastrophic Forgetting in Neural Networks. Proceedings of the National Academy of Sciences (PNAS). arXiv:1612.00796. [Elastic Weight Consolidation (EWC)]
  7. Patrick Lewis et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2005.11401. [RAG]
  8. Ziwei Ji et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys. arXiv:2202.03629.
  9. Tri Dao et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2205.14135.
  10. David M. Green & John A. Swets (1966). Signal Detection Theory and Psychophysics. Wiley.