分解から再合成へ：認知推論パイプラインの合成的定式化（FAD → FAR）

著者：Asher Bond（asher.bond@distillative.ai）

要旨

モジュール型推論パイプラインを構築するための二段階の枠組みを提示する。すなわち、タスクを小さな単一目的の関数へと分解する**機能的アトミック分解（Functional Atomic Decomposition, FAD）と、それらの関数を、特定の入力に対して実行時に選択される高階の合成へと再結合する機能的アトミック再合成（Functional Atomic Recomposition, FAR）**である。FAD と FAR は、関数レベルプログラミングの本質的な操作 [1]、高階関数と遅延評価によるモジュール性の議論 [2]、そしてプログラミング言語論の基礎において形式化された抽象化とパラメータ化の概念 [3] を、あらためて言い直したものである。本稿の貢献は、この分解→再合成のサイクルを、推論パイプラインのための明示的な方法論として名付けること、それを現代の機械学習におけるモジュール的適応——アダプタ層 [4] と低ランク適応 [5]——と対置すること、そして何よりモジュール性を要請する根本の失敗様態、すなわち逐次学習における破滅的干渉 [6, 7] と対置することにある。この枠組みは一つの鋭い問いを切り出す。ある入力に対して関連するアトムを、文脈条件付きの合成が固定的なモノリシック手続きを凌駕するだけの精度と低コストで選択できるか、という問いである。そして枠組みは、この選択ステップを、パイプラインの内に埋もれた前提としてではなく、第一級かつ測定可能な構成要素として立ち上げる。

1. はじめに

推論システムを構築するとは、(a) タスクを小さな再利用可能な部品へと分割し、(b) それらの部品を、特定の入力にふさわしい解へと再結合することである。これは構造化プログラミングおよび関数型プログラミングにおける最も古い着想を、推論パイプラインへと適用したものにほかならない。Backus はチューリング賞講演において、プログラミングを逐次的な状態変異ではなく関数の代数的合成として捉えるべきだと論じた [1]。Hughes は、高階関数と遅延評価こそが、そうした分解をモジュール性という果実へと結実させる「糊」であることを示した [2]。そして抽象化・パラメータ化・第一級関数という語彙は、それより数十年前に既に定式化されていた [3]。

FAD は分解の段階を、FAR は再合成の段階を名付ける。要となる操作は、あらゆる入力に対して一つの固定的パイプラインを実行するのではなく、実行時に、入力を条件として合成を行うことである。これが本稿で検討する設計であり、それが成果を生むか否かを決するステップ——入力ごとに関連するアトムを選択すること——を、モノリシックな手続きの内に畳み込むのではなく、ここで明示的に名付ける。

2. 関連研究

関数合成。 分解→再合成のサイクルは、関数型プログラミングの標準的な語彙そのものである。純粋関数の合成 [1]、モジュール性の機構としての高階関数 [2]、そして抽象化と第一級関数という言語理論的概念 [3]。FAD と FAR は、この合成を推論パイプラインの設計へと適用する。

機械学習におけるモジュール的適応。 大規模モデルを、システム全体を書き換えるのではなく小さく、合成可能で、再利用可能なモジュールを付加することで特化させるという直観は、パラメータ効率的な転移学習に直接の対応物を持つ。アダプタ層 [4] と低ランク適応 [5] は、いずれも凍結された基幹ネットワークへ小さな再利用単位を挿入する。FAR の再合成段階はこの系譜と軌を一にしており、重み空間の更新ではなく、オーケストレーションされた関数のレベルで作動する。

なぜモジュール性が報われるのか。 モノリシックな逐次適応は忘却する。コネクショニスト・ネットワークにおける破滅的干渉 [6] は、Elastic Weight Consolidation [7] のような正則化によって緩和されるにとどまり、解決されるわけではない。独立に保守されるアトミック関数から組み立てられたパイプラインは、ある能力を獲得する過程で別の能力を上書きすることがない——これこそが、合成を一つの絡み合った手続きではなくアトムから構築すべき構造的な理由である。

3. FAD → FAR 方法論

FAD（分解）。 タスクをアトミック関数へと分解する。単一目的で、独立にテスト可能であり、複数のタスクにわたって再利用可能な関数である。この準備段階が、プリミティブのライブラリを生む。

FAR（再合成）。 入力が与えられたとき、あらゆる入力に対して固定的パイプラインを実行するのではなく、その入力に対して関連するアトミック関数を選択し、高階のパイプラインへと合成する。この選択ステップこそが、合成を文脈条件付きにするものであり、本方法の梃子を担う構成要素である。

その経済性は直截である。ある入力に対して関連するアトムが安価に同定されるならば、それらのアトムのみを合成することは、固定的なモノリシック手続きを走らせるよりも経済的である——入力あたりに起動される関数が少ないほど、入力あたりの仕事は少ない。結果を決する変数は、選択ステップの精度とオーバーヘッドである。FAD/FAR はこのステップを、名付けられた第一級の、差し替え可能な構成要素とする。それこそが「モジュール型推論はより経済的である」を、標語から測定可能な主張へと転じさせるものである。

4. 便益が決するところ

固定的なモノリシック推論手続きは、FAR で合成されたパイプラインが対置される基準線（ベースライン）である。同じタスクを一つの絡み合ったパスとして走らせたものが、コストと品質の双方についての参照点となる。合成されたパイプラインが勝つのは、文脈条件付きの選択が、小さく十分なアトムの部分集合を起動し、かつ選択のオーバーヘッドがそれによって節約される仕事を下回るときである。これは単一の鋭い条件——正確で安価なアトム選択——であり、アーキテクチャが数値と出会う地点である。FAD/FAR の分解こそが、この条件を、不透明なパイプライン全体に拡散した性質としてではなく、計測すべき一つの構成要素として露わにする。

5. モジュール的合成と認知

再利用可能なサブスキルから構築され、問題ごとに再結合される推論。これが本枠組みを動機づける構造的な類比である。能力は独立したアトムとして保持され、要求に応じて組み立てられる。これは、モジュール的適応が古い能力を上書きせずにスキルを付加できる [4, 5] のと同じ性質であり、モノリシックな学習が被る干渉を回避する [6, 7] のと同じ性質である。FAD/FAR は、このモジュール的再利用の構造を、推論パイプラインの設計へと持ち込む。

根拠と適用範囲

FAD → FAR は、一つの切り出された検証可能な問いを備えた設計方法論である。確立された合成の伝統 [1, 2, 3] を推論パイプラインへ適用し、実行時の入力条件付きアトム選択を第一級の構成要素とする。合成が固定的なモノリシック手続きを凌駕するという主張は、まさにアトム選択が、節約される仕事が選択のオーバーヘッドを上回るだけの精度と低コストを備えるときに成立する——これは経験的な条件であり、結果を決する名付けられた変数である。ベースラインはモノリシックなパイプラインであり、選択ステップこそが帰趨を定める。

参考文献

  1. John Backus (1978). Can Programming Be Liberated from the von Neumann Style? A Functional Style and Its Algebra of Programs. Communications of the ACM. [1977 ACM Turing Award Lecture]
  2. John Hughes (1989). Why Functional Programming Matters. The Computer Journal.
  3. Christopher Strachey (2000). Fundamental Concepts in Programming Languages. Higher-Order and Symbolic Computation. [Reprint of 1967 lecture notes]
  4. Neil Houlsby et al. (2019). Parameter-Efficient Transfer Learning for NLP. Proceedings of the 36th International Conference on Machine Learning (ICML). arXiv:1902.00751.
  5. Edward J. Hu et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. International Conference on Learning Representations (ICLR). arXiv:2106.09685.
  6. Michael McCloskey & Neal J. Cohen (1989). Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem. Psychology of Learning and Motivation.
  7. James Kirkpatrick et al. (2017). Overcoming Catastrophic Forgetting in Neural Networks. Proceedings of the National Academy of Sciences (PNAS). arXiv:1612.00796. [Elastic Weight Consolidation (EWC)]