機能的アトミック再合成：合成された認知機能のためのランタイム組み立て層

著者：Asher Bond（asher.bond@distillative.ai）

要旨

機能的アトミック分解（Functional Atomic Decomposition, FAD） が、ある能力を小さく再利用可能なアトミック関数へと分解する規律であるとすれば、機能的アトミック再合成（Functional Atomic Recomposition, FAR） はその対をなす。すなわち、タスクごとに関連するアトミック関数を検索し、それらを実行可能な推論経路へと組み立てるランタイム層であり、検証チェックポイントとモニタループを備える。FAR は確立された三つの着想を合成する。プリミティブに対する近似最近傍検索 [1]、依存関係をもつステップの有向非巡回グラフによるオーケストレーション、そして関数の高階合成 [2, 3, 4] であり、これらを一本の組み立てパイプラインへとまとめ上げる。本稿の貢献は、この合成をランタイムの認知オーケストレーションへ適用した点にある。本稿はパイプラインを段階ごとに定義し、各段階の制御フロー構造を確定させ、その拡張性と解釈可能性を、各部が依拠する先行研究に基づいて根拠づける。

1. はじめに

FAD（本稿と対をなす枠組み）は、能力をモジュール化されたアトミック関数へと分解し、再訓練ではなく再利用を可能にする。分解はそれ自体では、特定のタスクのために各部品を どのように 組み直すかを規定しない。FAR がその規定である。すなわち、タスク文脈が与えられたとき、アトミック関数を選択し、それらを依存関係グラフへ配線し、検証チェックポイントを伴って実行し、失敗時には修正する検索・組み立て層である。

FAR を構成する各要素は、単体としてはいずれも確立されており、FAR はそれぞれを最も強みを発揮する位置に据える。ベクトル類似度による関連項目の検索は、解決済みのシステム問題である [1]。依存的計算を有向非巡回グラフとして組織することは、標準的なデータフロー工学である。関数を合成して振る舞いを組み立てること——他の関数を引数に取り、あるいは返す高階関数を含む——は、関数型プログラミングのモデルである [2, 3, 4]。FAR はこの三者を、認知タスクのための単一のランタイムループへと合成する。その合成こそ、本稿が定義するアーキテクチャである。

2. 関連研究

ベクトル索引による検索。 FAR の文脈認識型アトミック関数検索と高次元類似度探索は、索引に対する近似最近傍探索である。その参照実装が FAISS [1] である。生成を条件づけるための検索は RAG パターンである [5]。

合成とモジュール性。 FAR による関数からより大きな振る舞いへの組み立ては関数合成であり [2, 3]、関数を第一級の値として扱うことに立脚する [4]。FAR はこのモデルをランタイムのタスク組み立てへ適用する。

注意と資源配分。 FAR の注意駆動型資源配分は、優先度の高いグラフノードへ計算を重みづけし、Transformer の注意 [6] における関連度重みづけの原理を組み立てグラフへ適用する。

適応のベースライン。 FAR は、ファインチューニング [7, 8] やパラメータ効率的適応 [9, 10, 11] と同じタスク適応の設計空間に位置する。これらがモデルの重みをタスクへ適応させるのに対し、FAR は再利用可能なプリミティブからタスクの振る舞いをランタイムで組み立て、プリミティブそのものは固定したまま残す。再利用の境界こそが、このアーキテクチャ上の相違点である。

3. FAR パイプライン

FAR は五つの段階の系列として動作する。各段階は定義済みの工学パターンであり、アーキテクチャはそれらを一本のループへ合成したものである。

  1. タスクの文脈化。 タスクを文脈ベクトルへ符号化し、タスクテンプレートと照合する。符号化と照合は、埋め込みと近似最近傍検索である [1]。
  2. アトミック関数の検索。 索引に対し文脈に関連する上位 k 個のプリミティブを問い合わせ、次に類似度閾値で重複を除外する。近似最近傍検索に重複排除を加えたものである [1]。
  3. 依存関係グラフの組み立て。 検索されたプリミティブを、依存的ステップの有向非巡回グラフへ配線する。データフローの構造化であり、ノード関数の合成によって実行される [2, 3]。
  4. 再帰的洗練とフォールバック。 中間結果がチェックに失敗した箇所では、当該ノードを置換または再検索し、再検証する。これが組み立てに耐障害性を与える制御ループである。
  5. 検証チェックポイントとアーカイブ。 中間出力をタスク基準と照合し、検証済みの組み立てを再利用のためアーカイブして、構築コストを再利用にわたって償却する [3]。

動的組み立てブループリンティング（Dynamic Assembly Blueprinting, DAB） は、段階 1〜5 をひとまとめにした呼称であり——FAR がタスクごとに構築・検証・アーカイブする組み立てブループリントを指す。

4. 例示的な作業例

多段階推論タスクを、入力—処理—出力の形式で示す。

[ILLUSTRATIVE — 記載の構造下における制御フロー]

INPUT: task parameters + context
PROCESS: context-vector := encode(task)
 primitives := retrieve_top_k(context-vector) # ANN lookup
 graph := assemble_DAG(primitives) # dataflow wiring
 result := execute(graph) with checkpoint(validate); on-fail → refine(graph)
OUTPUT: a validated result, plus the archived assembly for reuse

これは FAR の制御フローを跡づける。検索が候補プリミティブを選択し、有向非巡回グラフがそれらを依存的ステップへ配線し、チェックポイントが中間結果を検証し、洗練ループが失敗ノードを置換し、アーカイブされた組み立てが構築コストを再利用にわたって償却する [3]。

5. 拡張性と解釈可能性

二つの性質が FAR の動作範囲を確定させる。

拡張性。 高次元索引と再帰的検証はいずれもコストを伴う。FAR はそのコストを組み立てごとに一度支払い、検証済みの組み立てを再利用のためアーカイブすることで償却する [3]。タスクあたりの検索コストは、プリミティブライブラリの規模ではなく上位 k 個のプリミティブ数に追従する。検索が触れるのは k 個の候補のみだからである [1]。

解釈可能性。 動的に組み立てられた推論グラフは、名前づけられたアトミック関数の有向非巡回グラフであり、したがって組み立てブループリント（DAB）がそのまま監査トレースとなる。再帰的洗練は各ノードの置換を記録するため、タスク文脈から結果へ至る因果経路は、アーカイブされたグラフそのものとして可読なまま保たれる。

根拠と適用範囲

FAR は、確立された各部——近似最近傍検索 [1]、有向非巡回グラフによるデータフロー、関数合成 [2, 3, 4]——を単一の認知オーケストレーションループへ組み合わせて構成したランタイム組み立てアーキテクチャであり、その組み合わせこそが貢献である。作業例は、記載の構造下における例示的な制御フローである [ILLUSTRATIVE]。Functional Atomic Recomposition、Dynamic Assembly Blueprinting、およびメタブループリントのアーカイブという各用語は、この系譜に由来する。FAR は、隣接する適応手法——ファインチューニング [7, 8] とパラメータ効率的適応 [9, 10, 11]——と評価軸を共有する。すなわち、タスク精度、タスクあたりのコスト、そして組み立てられた経路の監査可能性である。

References

  1. Jeff Johnson et al. (2019). Billion-Scale Similarity Search with GPUs. IEEE Transactions on Big Data. arXiv:1702.08734. [FAISS]
  2. John Backus (1978). Can Programming Be Liberated from the von Neumann Style? A Functional Style and Its Algebra of Programs. Communications of the ACM. [1977 ACM Turing Award Lecture]
  3. John Hughes (1989). Why Functional Programming Matters. The Computer Journal.
  4. Christopher Strachey (2000). Fundamental Concepts in Programming Languages. Higher-Order and Symbolic Computation. [Reprint of 1967 lecture notes]
  5. Patrick Lewis et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2005.11401. [RAG]
  6. Ashish Vaswani et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS). arXiv:1706.03762.
  7. Jeremy Howard & Sebastian Ruder (2018). Universal Language Model Fine-tuning for Text Classification. Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL). arXiv:1801.06146. [ULMFiT]
  8. Jacob Devlin et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT. arXiv:1810.04805.
  9. Edward J. Hu et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. International Conference on Learning Representations (ICLR). arXiv:2106.09685.
  10. Qingru Zhang et al. (2023). AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning. International Conference on Learning Representations (ICLR). arXiv:2303.10512.
  11. Neil Houlsby et al. (2019). Parameter-Efficient Transfer Learning for NLP. Proceedings of the 36th International Conference on Machine Learning (ICML). arXiv:1902.00751.