SEMI-CAPS：機械知覚設計のための八段階合成フレームワーク

Author: Asher Bond (asher.bond@distillative.ai)

要旨

SEMI-CAPS は、機械知覚を八つの段階へと編成する——Stimulus（刺激）、Encoding（符号化）、Modality（モダリティ）、Integration（統合）、Context（文脈）、Attention（注意）、Prediction（予測）、Selection（選択）——その一つひとつが、設計者が単独で構築・検査・置換できる、名前を与えられた交換可能な単位である。各段階は、原子的関数の上に高階関数を重ねる合成様式で記述される [1, 2, 3]。パイプラインは Selection ∘ Prediction ∘ Attention ∘ Context ∘ Integration ∘ Modality ∘ Encoding ∘ Stimulus であり、各段階はそれ自体として配置され、単独で検証できる。二つの段階は成熟した計算基盤の上に直接立つ。Attention は注意・Transformer の系譜 [4] とその IO 効率的な厳密変種 [5] の上に、Selection は信号検出理論 [6] の上に立ち、後者は「ある解釈に踏み切る」ことを、感度 d′ と基準 β を備えた測定可能な決定へと変える。Attention と Selection をまたぐ閾値と順応の挙動は、精神物理学の座標——弁別閾（JND）と Weber–Fechner のスケーリング [7]、および Stevens のべき法則 [8] が与える知覚量の圧縮——において定められる。ゆえに段階の動作点は、当て推量ではなく一個の数である。本フレームワークは、入力–処理–出力の実例と、各段階がどこで測定に接するかの精密な説明を伴う設計として提示される。

1. はじめに

機械知覚系は、しばしばその場しのぎで組み上げられる。SEMI-CAPS は八つの段階の語彙を固定し、設計者が知覚パイプラインの各部を名づけ、切り分け、交換できるようにする。その価値は組織的なもの——高階合成を動機づけるモジュール性の主張 [2] である——に加え、どの段階がすでに測定された基盤の上に立ち、残りがどう配置されるかの精密な説明にある。八段階への分解は工学上の約束事である。それはパイプラインを、各段階が一つの責務と一つの測定可能な動作点を担うよう構造化するものであり、別の目的には別の分解も許される。このフレームワークが手に入れるのは分離可能性——他の段階を乱すことなく一つの段階を構築・検証・置換できること——である。

2. 関連研究

Attention。 Attention 段階は、具体的で確立された機構、すなわちスケール化ドット積／自己注意 [4] に対応し、そのメモリコストには IO 効率的な厳密実装 [5] がある。この段階は成熟しベンチマークされた計算文献に裏づけられており、SEMI-CAPS はこれを一段階として名づけ、そのまま採用する。

Selection と不確実性下の決定。 Selection 段階——曖昧さを一つの踏み切った解釈へと解消すること——は、信号検出理論 [6] の舞台であり、同理論は感度（d′）を決定基準（β）から分離する。Selection は「検出の決定そのもの」であるから、SDT はその動作特性を直接与える。適合率／再現率のトレードオフは ROC 曲線に沿った基準の移動であり、段階の質は d′ と閾値へと分離する。

Context と Prediction。 Context と Prediction を、先行経験を用いて入力を予期する働きとして枠づけることは、認知のベイズ的説明 [9] に従う——事前分布によって形づくられる期待の確立された形式論であり、二つの段階はこれを、それぞれ入力条件づけと次入力推定として具体化する。

合成的構造。 八つの段階を交換可能な合成単位として扱うことは、関数合成 [1, 2, 3] にほかならない。引用は、各段階を独立に配置・検証可能にする工学様式の根拠を与える。

精神物理学。 Weber–Fechner のスケーリング [7] と Stevens のべき法則 [8] は、物理刺激の大きさを知覚された大きさへと関係づけ、弁別閾（JND）は変化が検出可能になる分解能である。SEMI-CAPS はこれらを、Attention と Selection 両段階における閾値づけと順応の定量的基盤として適用する。注意重みと選択閾値は、これらの法則が記述する対数圧縮スケールの上で定められ、JND はそれ以下では変化が決定を担わない刻み幅を固定する。これは段階の動作点の測定座標——信号検出理論 [6] が決定則を述べるのと同じ座標——であり、借り物の語彙ではない。

3. 八つの段階

  1. Stimulus（刺激） — 生入力を検出し整える（ノイズ除去、帯域制限）。
  2. Encoding（符号化） — 生入力を構造化表現へ変換する（特徴、スペクトル、埋め込み）。
  3. Modality（モダリティ） — モダリティ固有の処理を施す（視覚と聴覚のパイプライン）。
  4. Integration（統合） — 複数モダリティを横断して結合表現へ融合する。
  5. Context（文脈） — 表現を先行状態と履歴で条件づける [9]。
  6. Attention（注意） — 特徴を重みづけ、優先順位づける [4, 5]。精神物理学の法則 [7, 8] が与える JND 分解能の対数圧縮スケール上で行う。
  7. Prediction（予測） — 文脈から起こりうる次入力を予期する [9]。
  8. Selection（選択） — 検出の決定として、一つの解釈に踏み切る [6]。

各段階は、定義された入力と出力をもつ、名前を与えられた単位である。このように段階を切り分けることで、知覚パイプラインは構築・検査・改変が容易になり [2]、各段階は測定・調整すべき単一の動作点をもつ。

4. 実例：IPO パイプラインとしての八段階

八つの段階は、入力–処理–出力の認知 DSL パイプラインとして合成される——原子的関数が合成されて一つの知覚高階関数をなす。これが意図されたデータフローであり、各段階での操作と、各段階が担う境界を名づける。実装では、各 process は具体的な演算子で満たされる——Stimulus では帯域制限フィルタ、Encoding では埋め込み、Attention ではスケール化ドット積注意 [4]——そしてそれぞれが、その段階が測定される動作点を帯びる。

semi_caps_pipeline:
 description: "Eight-stage perception pipeline as composed atomic functions."
 input: "raw_sensor_signal"
 process:
 - stimulus: { input: "raw_sensor_signal", process: "detect_and_condition_input", output: "clean_signal" }
 - encoding: { input: "clean_signal", process: "encode_to_features", output: "features" }
 - modality: { input: "features", process: "apply_modality_processing", output: "modal_features" }
 - integration: { input: "modal_features", process: "fuse_across_modalities", output: "joint_repr" }
 - context: { input: ["joint_repr","history"], process: "condition_on_priors", output: "contextual_repr" }
 - attention: { input: "contextual_repr", process: "weight_and_prioritize", output: "attended_repr" }
 - prediction: { input: "attended_repr", process: "anticipate_next_input", output: "prediction" }
 - selection: { input: ["attended_repr","prediction"], process: "decide_interpretation", output: "percept" }
 output: "percept" # committed interpretation (a detection decision, cf. SDT)

5. 検証はどこに根ざすか

二つの段階は、直接に数と接する。Attention はベンチマークされた計算文献 [4, 5] の上に立ち、その重みづけと閾値は精神物理学の座標——JND の刻み幅と、対数圧縮された Weber–Fechner／Stevens スケール [7, 8]——において定められる。ゆえにその動作点は、感覚頼りの調整ではなく測定可能である。Selection は検出の決定であり、信号検出理論 [6] がそれに構造を与える。感度 d′ が基準 β から分離し、適合率／再現率のトレードオフは ROC 曲線に沿った基準の移動である。これらが、アーキテクチャが測定に接する地点であり、他のすべての段階が供給する動作特性を規定する。

証拠と適用範囲

SEMI-CAPS は一つの設計である。名前を与えられた八つの交換可能な段階 [2] が、定義されたデータフローと、段階ごとに述べられた動作点をもつ。Attention は成熟しベンチマークされた計算基盤 [4, 5] の上に立ち、Selection は信号検出理論 [6] の上に立つ。そして両段階をまたぐ閾値づけと順応は、測定可能な精神物理学の座標——JND、Weber–Fechner [7]、Stevens [8]——において述べられる。この座標において、知覚パイプラインの動作点は一個の数である。実例のパイプラインは意図されたデータフローであり、本フレームワークが供するために築かれた対価は分離可能性である。各段階は個別に具体化され、その動作点で測定され、残りを乱すことなくベースラインに対して置換できる。

References

  1. John Backus (1978). Can Programming Be Liberated from the von Neumann Style? A Functional Style and Its Algebra of Programs. Communications of the ACM. [1977 ACM Turing Award Lecture]
  2. John Hughes (1989). Why Functional Programming Matters. The Computer Journal.
  3. Christopher Strachey (2000). Fundamental Concepts in Programming Languages. Higher-Order and Symbolic Computation. [Reprint of 1967 lecture notes]
  4. Ashish Vaswani et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS). arXiv:1706.03762.
  5. Tri Dao et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2205.14135.
  6. David M. Green & John A. Swets (1966). Signal Detection Theory and Psychophysics. Wiley.
  7. Gustav Theodor Fechner (1860). Elemente der Psychophysik. Breitkopf und Härtel.
  8. S. S. Stevens (1957). On the Psychophysical Law. Psychological Review.
  9. Thomas L. Griffiths et al. (2008). Bayesian Models of Cognition. The Cambridge Handbook of Computational Psychology.