HOF認知の仕組み — 文脈が選び取る原子的関数の合成

著者: Asher Bond (asher.bond@distillative.ai)

要旨

HOF認知とは、この系譜が単一の設計思想に与えた名である。すなわち、固定パイプラインを走らせたりモノリスを再学習させたりするのではなく、小さく、文脈が選び取る関数を実行時に合成することでタスクの振る舞いを組み立てる、という思想である。この思想は三つの可動部から成る。能力を原子的関数へ分解し、近似最近傍探索のために索引化し [1]、取り出した部分集合を高階合成によって再結合する [2, 3, 4]。このうち二つ — スケーラブルなベクトル探索と関数合成 — は確立された技術であり、HOF認知はこれを設計上そのまま再利用する。寄与は配線にある。すなわち、高階合成を認知プリミティブの実行時オーケストレーションに適用し、能動的な関数の集合をタスクとともに変化させる点である。本稿はこのループを述べ、一つの入力–処理–出力の例を与える [ILLUSTRATIVE]。ファインチューニング [5] と検索拡張生成 [6] が、その対比の基準となる適応手法である。

1. はじめに

実務を支配する適応戦略は二つある。ファインチューニング [5, 7] はモデルの重みを特化させるが、破滅的忘却 [8, 9] と重み更新のコストを免れない。このコストは低ランク手法 [10, 11] によって縮小はするが除去はされない。検索拡張生成 [6] は出力を取り出した文章に接地させるが、検索品質に依存し、ハルシネーションを消し去りはしない [12]。

HOF認知は、この両者に対して直交する構造的代替案である。小さな関数のライブラリを保持し、要求ごとに関連するものを選択して合成する。「高階関数」という語は、プログラミング言語における通常の意味 — 関数を引数に取るか関数を返す関数 [4] — をそのまま担う。そして、このやり方でシステムを構築する論拠は、関数合成に対する古典的なモジュール性の議論 [2, 3] にほかならない。寄与は語彙ではなく配線にある。すなわち、文脈駆動の検索 [1] をこの合成的構造へ組み込み、能動的な関数の集合をタスクとともに変化させる点である。

2. 関連研究

関数合成。 高階関数、カリー化、合成は、プログラミング言語の基礎概念 [4] であり、Backus [2] と Hughes [3] によってモジュール的ソフトウェアの基盤として論じられた。HOF認知はこの語彙をそっくり継承する。

ベクトル検索。 関連するプリミティブを類似度によって選び出すことは、近似最近傍探索、すなわちベンチマークされたシステム技術 [1] である。生成を条件づけるための検索は RAG のパターン [6] である。

適応の基準と注意機構。 ファインチューニングとパラメータ効率的適応 [5, 10, 11, 13] は、完全な評価が測定対象とする基準である。関連する関数を順位づける機構は文脈駆動の関連度重みづけであり、Transformer の注意機構 [14] に接地している。

3. 認知ループ

タスクは、合成可能な四つのステップによって処理される。

  1. 分解する — 能力を原子的で単一目的の関数へ分解する(例えば、意思決定のための確率推定、効用スコアリング、閾値比較)。
  2. 索引化し取り出す — 文脈に関連するプリミティブを ANN 探索によって取り出す [1]。
  3. 合成する — 取り出したプリミティブを高階合成によって合成する [2, 3]。
  4. 監視する — 合成された振る舞いを監視し、逸脱があれば再検索または再合成する。

ステップ1–3は確立された技術を再利用する。ステップ4こそが、合成を適応的にする制御ループである。中間結果がタスクから乖離したとき、能動的な関数の集合が再選択される。

4. 例示的なワークト例

[ILLUSTRATIVE] 入力–処理–出力の形式で示す、確率についての推論タスク。

INPUT: クエリと証拠
PROCESS: retrieve(pattern-match) ∘ retrieve(estimate-probability) ∘ retrieve(logical-inference)
 各 retrieve(·) は原子的関数索引への ANN 探索であり、monitor() は中間結果が
 妥当性検査に不合格となったとき検索を再実行する
OUTPUT: 推論された結論、あるいは追加の証拠の要求

この例は合成のかたちを定める。各ステップは原子的関数索引への ANN 探索であり、ステップは左から右へ合成され、monitor() は中間結果が妥当性検査に不合格となったとき検索を再実行する。

証拠と適用範囲

HOF認知は、検証可能な核を持つ設計である。ベクトル探索 [1] と関数合成 [2, 3, 4] は、それが合成する確立された構成要素であり、寄与はそれらをタスク選択的なループへと実行時に配線することにある。ワークト例は合成のかたちに関する例示的な算術であって、ベンチマークではない。この設計が立脚する主張は一つの機構である。すなわち、重みを再学習させるのではなく、再利用可能な原子的関数を再合成することによってタスクを横断して汎化する — この機構を、共有タスク上で、ファインチューニング [5] と RAG [6] に対して測定する。Transformer の注意機構 [14] の外で「注意」が現れる箇所では、それは文脈駆動の関連度重みづけを指す。

References

  1. Jeff Johnson et al. (2019). Billion-Scale Similarity Search with GPUs. IEEE Transactions on Big Data. arXiv:1702.08734. [FAISS]
  2. John Backus (1978). Can Programming Be Liberated from the von Neumann Style? A Functional Style and Its Algebra of Programs. Communications of the ACM. [1977 ACM Turing Award Lecture]
  3. John Hughes (1989). Why Functional Programming Matters. The Computer Journal.
  4. Christopher Strachey (2000). Fundamental Concepts in Programming Languages. Higher-Order and Symbolic Computation. [Reprint of 1967 lecture notes]
  5. Jeremy Howard & Sebastian Ruder (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL). arXiv:1801.06146. [ULMFiT]
  6. Patrick Lewis et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2005.11401. [RAG]
  7. Jacob Devlin et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT. arXiv:1810.04805.
  8. Michael McCloskey & Neal J. Cohen (1989). Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem. Psychology of Learning and Motivation.
  9. James Kirkpatrick et al. (2017). Overcoming Catastrophic Forgetting in Neural Networks. Proceedings of the National Academy of Sciences (PNAS). arXiv:1612.00796. [Elastic Weight Consolidation (EWC)]
  10. Edward J. Hu et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. International Conference on Learning Representations (ICLR). arXiv:2106.09685.
  11. Qingru Zhang et al. (2023). AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning. International Conference on Learning Representations (ICLR). arXiv:2303.10512.
  12. Ziwei Ji et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys. arXiv:2202.03629.
  13. Neil Houlsby et al. (2019). Parameter-Efficient Transfer Learning for NLP. Proceedings of the 36th International Conference on Machine Learning (ICML). arXiv:1902.00751.
  14. Ashish Vaswani et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS). arXiv:1706.03762.