HOF適応認知コンピュータ(HACC): 学習し適応するエージェントのための合成的設計パターン

著者: Asher Bond (asher.bond@distillative.ai)

要旨

本稿は、HOF適応認知コンピュータ(HOF-Adaptive Cognitive Computers, HACC) を提示する。これは、自らの振る舞いを「原子的で単一目的の関数の上に合成された高階関数」として編成することにより、オンラインで学習し適応するエージェントの設計パターンである [1, 2, 3]。HACCは、エージェントのライフサイクル——初期化・収集・学習・適応・統合・成長——を、交換可能な合成ステージとして梱包する。学習と適応の各ステージは確立された技法の上に立つ。すなわち、その中心的な失敗様式が破滅的干渉 [4] であり、それをEWC [5] のような正則化で緩和する強化学習および継続学習と、エージェントが学習した内容を圧縮する機構としての知識蒸留 [6] である。本稿の貢献は編成上のものである——適応エージェントのあらゆるステージを、独立に交換可能な単位とする合成構造そのものが貢献である。入力—処理—出力(Input–Process–Output, IPO)の認知DSL形式による実例を示す。

1. はじめに

経験とともに改善するエージェントは、静的なプログラムがしないことを行う。すなわち、環境からデータを集め、そのデータから内部の方策やモデルを更新し、それに応じて振る舞いを変え、状況が移り変わるかぎりそれを続ける。HACCの貢献はその配置にある——これらの手順を高階関数として合成し、各ステージ(データ収集、分析、方策更新、適応、統合)を独立に交換可能な単位とするのである [2]。ライフサイクルをこのように構造化することで、学習アルゴリズムは固定的な決定事項ではなく差し替え可能な部品となり、各ステージは他の部分を乱すことなく置換できる。

2. 関連研究

学習と適応。「収集した結果から学び、しかるのち振る舞いを変える」というループは、強化学習およびオンライン学習の設定そのものである。これを継続的に行ううえで立ちはだかる障害が破滅的干渉 [4] であり、EWC [5] のような正則化がこれを緩和する。時間とともに方策を更新するHACCエージェントは、これら既知の限界の内で動作し、更新を名前を持つステージ——まさにそうした緩和策が適用される場所——として分離する。

知識蒸留。 蒸留 [6] は、より大きなモデルの振る舞いをより小さなモデルへ圧縮する——統合(「成長」)ステージがエージェントの学習内容を統合するために用いる、具体的かつ確立された機構である。

合成構造。 計算を原子的関数の上の高階関数として編成することは、関数型プログラミングの伝統である [1, 2, 3]。HACCはその合成をエージェントのライフサイクルに適用する。引用は、このパターンが立脚する構造の根拠を与える。

3. HACCパターン

このパターンは、適応エージェントを、ライフサイクルに沿って合成された高階関数の下に束ねられた原子的関数へと分解する。

名前を持つ各ステージは原子的関数の上の高階関数であり、ゆえにステージもその内部も交換可能である [2]。このパターンの範囲は編成的である。すなわち、収集・学習・適応・統合がどこに位置し、どのように合成されるかという構造を固定し、具体的な学習規則は「学習と適応」ステージの差し替え可能な部品として残す。収束性・標本効率・精度は、その差し込まれた学習器の性質である。HACCが保証するのは構造的なものである——学習器を差し替えても、エージェントの他は何も変わらない。

4. 実例による例証

IPO認知DSL形式で表現した資源配分エージェント。合成された高階関数の下に束ねられ、ワークフローに駆動される原子的関数である。この例は [ILLUSTRATIVE] ——パターンの構造を具体化した一つの実体化である。

hacc_agent:
 name: ResourceOptimizer
 atomic_functions:
 - initialize_policy: { input: "task_spec", process: "seed_baseline_heuristics", output: "policy" }
 - collect_signals: { input: "environment", process: "log_usage_and_outcomes", output: "observations" }
 - analyze_data: { input: "observations", process: "detect_patterns", output: "insights" }
 - update_policy: { input: ["policy","insights"],process: "reinforcement_update", output: "policy_v2" }
 - adapt_behavior: { input: ["policy_v2","context"],process:"switch_strategy_on_condition",output:"action" }
 - consolidate: { input: "policy_v2", process: "distill_and_integrate", output: "policy_v3" }
 higher_order_functions:
 - Initialize: { compose: [initialize_policy, collect_signals] }
 - LearnAndAdapt:{ compose: [analyze_data, update_policy, adapt_behavior] }
 - Grow: { compose: [consolidate] }
 workflow:
 - Initialize
 - loop: { body: LearnAndAdapt, until: "performance stabilizes or task changes" }
 - Grow

その価値は可読性にある。各ステージが名前を持つ合成関数であるがゆえに、「学習と適応」ステップは——強化学習による更新を別の学習器へと差し替えることで——他の部分に一切触れずに置換できる。これはソフトウェア工学上の性質であり [2]、構成そのものによって検証可能である。合成は、どの学習器がそのステージを埋めようとも成立する。

根拠と範囲

HACCは、明確な貢献を持つ設計パターンである。すなわち、学習し適応するエージェントの合成構造を固定し、あらゆるステージを独立に交換可能とする。実例はその構造の一つの例証的な実体化である。いかなるHACCエージェントの学習挙動も、その「学習と適応」ステージに差し込まれたアルゴリズムの挙動であり、継続学習の既知の限界——破滅的干渉 [4] とその正則化による緩和 [5]——の内で動作し、統合には蒸留 [6] を用いる。このパターンが保証するのは構造的なものであり、構成によって成立する。ステージは合成され、学習器はエージェントの他を乱すことなく置換可能である。

参考文献

  1. John Backus (1978). Can Programming Be Liberated from the von Neumann Style? A Functional Style and Its Algebra of Programs. Communications of the ACM. [1977 ACM Turing Award Lecture]
  2. John Hughes (1989). Why Functional Programming Matters. The Computer Journal.
  3. Christopher Strachey (2000). Fundamental Concepts in Programming Languages. Higher-Order and Symbolic Computation. [Reprint of 1967 lecture notes]
  4. Michael McCloskey & Neal J. Cohen (1989). Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem. Psychology of Learning and Motivation.
  5. James Kirkpatrick et al. (2017). Overcoming Catastrophic Forgetting in Neural Networks. Proceedings of the National Academy of Sciences (PNAS). arXiv:1612.00796. [Elastic Weight Consolidation (EWC)]
  6. Geoffrey Hinton et al. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning and Representation Learning Workshop. arXiv:1503.02531.