関数的原子分解——認知機能の再利用を組み合わせで捉える枠組み

著者: Asher Bond (asher.bond@distillative.ai)

要旨

関数的原子分解（Functional Atomic Decomposition, FAD）は、タスク適応型システムを構築するための工学的方法論である。複雑な振る舞いを、単一の目的だけを担う小さな原子的関数へと分解し、それらをベクトル索引に格納して近似最近傍探索で取り出し、実行時には巨大なモノリシックモデルを再学習するのではなく、組み合わせによって再構成する。FAD が依拠する三つの機構のうち二つは、すでに確立された基盤である——大規模なベクトル類似探索はシステム工学として解決済みの問題であり [1]、関数レベルの合成（compose, map, fold）は関数型プログラミングの標準的な語彙である [2, 3, 4]。本稿の寄与は三つ目にある。すなわち、その合成の語彙を、文脈によって索引・検索される認知的プリミティブの実行時オーケストレーションへ適用することである。本稿では、この枠組みを記述し、入力・処理・出力（Input–Process–Output, IPO）の具体例を示し、成否を決する唯一の問いを切り出す——文脈駆動の検索が、合成すべき正しいプリミティブを選び取れるか否かである。ファインチューニング [5] と検索拡張生成 [6] が、FAD が対峙する適応手法のベースラインである。

1. はじめに

汎用モデルを特定タスクへ適応させる手段は、今日ほぼ二つに集約される。一つはファインチューニングであり、破滅的忘却 [7, 8] と全パラメータ更新の計算コスト（低ランク法 [9, 10] によって緩和はされるが解消はされない）を代償に重みを特化させる。もう一つは検索拡張生成 [6] であり、検索された文脈に出力を接地させるが、検索品質への依存を引き継ぎ、幻覚のギャップを埋めきれない [11]。

FAD は、この両者に直交する第三の組織原理である。一つの巨大な適応済みモデルを持つのではなく、小さく明確に境界づけられた関数のライブラリを保持し、要求ごとに関連するものを選択し合成する。これは学習についての新しい主張ではなく、ソフトウェア構造についての主張である。Backus はチューリング賞講演において、状態を変異させるのではなく関数を合成することでプログラムを構築せよと論じ [2]、Hughes は高階関数と遅延合成こそが関数型プログラムをモジュール化するものだと示し [3]、関数を第一級かつ合成可能な値として扱う考えは Strachey の基礎的論述に遡る [4]。FAD の賭けは、この構造を、あらかじめ固定配線されるのではなく文脈によって検索される認知的プリミティブへ適用すれば、モノリスよりも再利用と再構成が容易なシステムが得られる、という点にある。それがより安価に動くか、より良く汎化するかは、この枠組みが切り出す経験的な問いである。

2. 関連研究

プリミティブのベクトル索引検索。 FAD は原子的関数を高次元空間に格納し、近似最近傍（approximate nearest-neighbor, ANN）探索によって最も関連するものを取り出す——成熟し、ベンチマークされたシステム技術である。十億スケールの GPU 類似探索は FAISS に文書化されており [1]、大規模検索の基準点である。生成を条件づけるためのコンテンツ検索は RAG のパターンである [6]。FAD は同じ検索の発想を、文章ではなく関数へ適用する。

合成的／関数型プログラミング。 FAD が用いる語彙——原子的関数、高階関数、map／fold／compose——は標準的な関数型プログラミングであり、数十年前に形式化されている [2, 3, 4]。語彙は先行技術であり、寄与はそれを実行時のモデルオーケストレーションへ適用した点にある。

適応のベースライン。 ファインチューニング [5, 12] とパラメータ効率的な変種 [9, 10, 13] は、共通のタスクとデータセット上で FAD が測定される対抗手法である。

アテンション。 FAD の検索は文脈駆動の関連度重みづけを行う——現在の要求にとってどの関数が重要かを選択する。その原点は、学習された関連度によって入力に重みをつける Transformer のアテンション機構である [14]。

3. FAD の枠組み

設計。 対象とする能力——推論、意思決定、適応——を、それぞれ一つの明確に定義された操作を担う原子的関数へ分解し、それらをベクトル空間に索引し、タスクごとに関連する部分集合を検索して合成する。

4. 具体例（入力・処理・出力）

意思決定タスクを入力・処理・出力の形式で表す。これは合成のパターンを示すものである [ILLUSTRATIVE]：

INPUT: 観測可能な特徴をそれぞれ持つ候補選択肢の集合
PROCESS: retrieve(estimate-probability) ∘ retrieve(score-utility) ∘ retrieve(compare-threshold)
 ここで各 retrieve(·) は原子的関数索引への ANN ルックアップである
OUTPUT: 選択された選択肢、または閾値を超える選択肢がなければ「abstain（棄権）」

この例は構造的な論点を示す。索引内の三つのプリミティブと正しい検索が与えられれば、意思決定の振る舞いは、タスク固有の再学習を一切行わずに合成によって組み立てられる。合成された振る舞いが正確であるか——そしてそれがファインチューニングや RAG のベースラインより低コストであるか——を決する変数は、検索である。文脈駆動の ANN ルックアップが正しいプリミティブを選ぶか否か。それが FAD の測定可能な核心であり、アーキテクチャが数値と出会う地点である。

5. どこで有効か

この合成的な捉え方が効いてくるのは、同じプリミティブが多数のタスクにまたがって繰り返し現れる場面である——構文解析や文脈推論といった言語のサブ操作、意図検出やフィードバック生成といった制御のサブ操作——そこではプリミティブを構築するコストが再利用によって償却される。これは再利用がもたらす工学的レバレッジであり [3]、mixture-of-experts のルーティングの背後にある直観そのものであり、FAD がその価値を稼ぎ出す地盤である。プリミティブが再利用されればされるほど、その一度きりのコストは、それが供するタスクの数に応じて分散していく。

証拠と適用範囲

FAD は、切り出された検証可能な問いを持つ設計である。その再利用可能な基盤は FAD が立脚する先行技術であり——ANN 検索 [1] と関数合成 [2, 3, 4]——ある能力を特定の原子的関数へと分解することはモデリング上の選択、すなわちこの枠組みが隠す前提ではなく、検証するために存在する対象そのものである。FAD の成否を決する測定は、共通のタスク上でファインチューニング [5] および RAG [6] と対峙させ、検索精度を結果を決する変数として実行する。主張は一つの機構である。単一モデルをスケールさせるのではなく、再利用可能な原子的関数を再合成することによってタスクをまたいで汎化する、というものである。

References

  1. Jeff Johnson et al. (2019). Billion-Scale Similarity Search with GPUs. IEEE Transactions on Big Data. arXiv:1702.08734. [FAISS]
  2. John Backus (1978). Can Programming Be Liberated from the von Neumann Style? A Functional Style and Its Algebra of Programs. Communications of the ACM. [1977 ACM Turing Award Lecture]
  3. John Hughes (1989). Why Functional Programming Matters. The Computer Journal.
  4. Christopher Strachey (2000). Fundamental Concepts in Programming Languages. Higher-Order and Symbolic Computation. [Reprint of 1967 lecture notes]
  5. Jeremy Howard & Sebastian Ruder (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL). arXiv:1801.06146. [ULMFiT]
  6. Patrick Lewis et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2005.11401. [RAG]
  7. Michael McCloskey & Neal J. Cohen (1989). Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem. Psychology of Learning and Motivation.
  8. James Kirkpatrick et al. (2017). Overcoming Catastrophic Forgetting in Neural Networks. Proceedings of the National Academy of Sciences (PNAS). arXiv:1612.00796. [Elastic Weight Consolidation (EWC)]
  9. Edward J. Hu et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. International Conference on Learning Representations (ICLR). arXiv:2106.09685.
  10. Qingru Zhang et al. (2023). AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning. International Conference on Learning Representations (ICLR). arXiv:2303.10512.
  11. Ziwei Ji et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys. arXiv:2202.03629.
  12. Jacob Devlin et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT. arXiv:1810.04805.
  13. Neil Houlsby et al. (2019). Parameter-Efficient Transfer Learning for NLP. Proceedings of the 36th International Conference on Machine Learning (ICML). arXiv:1902.00751.
  14. Ashish Vaswani et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS). arXiv:1706.03762.