反復より抽象化——合成的認知による推論モデル・ワークフローのトークンコスト削減

著者: Asher Bond (asher.bond@distillative.ai)

要旨

推論に最適化されたLLMは、長い内部思考連鎖を生成することで回答品質を高める。だがその代償として トークン消費量が増大し、ひいてはコストとレイテンシが跳ね上がる。本稿が提示するのは合成的認知 である。すなわち、反復して現れる推論を原子的操作の上に構築した再利用可能な高階関数として カプセル化し [1, 2, 3]、単一のコンテキストウィンドウ内に網羅的な推論履歴を抱え込むのではなく、 要約された結果をモジュール間で受け渡す手法である。本手法は、確立された三つの効率化の成果に立脚する。 すなわち、振る舞いをより安価な形へ圧縮する知識蒸留 [4]、厳密なアテンションのシステムコストを 削減するIO対応アテンション [5]、そしてサンプルを網羅的にではなく意図的に費やす自己一貫性 [6] である。基準点は推論モデルの推論であり、そのトークンコストは連鎖長とともに増大する。 本稿のトークン算術は明示した前提のもとでの例示であり、節約を左右する条件——再利用された抽象が 目下の問題に適合するか否か——は、埋没させずに明示的に名指しする。

1. はじめに

推論モデルは「より長く考える」こと、すなわち回答前に中間トークンの拡張された連鎖を放出することで 精度を得る。この交換は現実的かつ有用であり、そのコストは生成される中間テキストの量に比例して増大 する。長コンテキスト・深層推論の推論が高価なのはこのためである。

合成的認知は別の力点を置く。問題ごとにトークン単位で推論を再導出するのではなく、反復して現れる推論 を再利用可能な高階関数としてカプセル化し、モジュール間でコンパクトな要約を受け渡す。トークンは出力 を変える決定にこそ費やし、既存の結果は他所で再利用する。これは網羅的な反復に対する抽象化と再利用で あり、既に実運用されている三つの効率化の成果の上に築かれた工学的方向性である。

2. 関連研究

推論モデルとトークンコスト。 長い中間連鎖を生成することで推論するTransformer型LLM [7, 8] は、その連鎖長に比例したトークンコストを支払う。本設計が標的とするのは、このコストである。

設計が立脚する効率化の系譜。 知識蒸留 [4] は、大規模モデルの振る舞いをより小さく安価な モデルへ圧縮する——「より少ない計算で同じことを行う」という典型的成果であり、推論を再利用可能な 関数へカプセル化することに最も近い確立された類例である。FlashAttention [5] は、厳密な アテンションのメモリ/IOコストを削減するベンチマーク済みの技術であり、アテンションを安価にする いかなる主張においても引用すべき典拠である。自己一貫性 [6] は複数の推論連鎖をサンプリングして 投票を行い、サンプルを意図的に費やすことで信頼性を高める。これはサンプルを除くのではなく加える手法 であり、信頼性のための技術である。合成的議論はこれを信頼性技術として扱い、トークン節約の源泉とは みなさない。

コンテキスト削減のてことしてのグラウンディング。 検索拡張生成 [9] は、モデルが一切を コンテキストに抱え込む代わりに外部メモリを参照することを可能にする——本設計が推論状態に適用する のと同じ「要約して参照する」直観である。これは網羅的な履歴をウィンドウ内に保持する必要を、 除去はせずとも削減する [10]。

合成。 推論を原子的操作の上の高階関数としてカプセル化することは、Backus、Hughes、Strachey [1, 2, 3] が定式化した関数合成の規律である。合成的認知はこれを推論状態に適用する。

3. 設計——反復より抽象化

主張。 反復して現れる推論は、原子的操作の上の再利用可能な高階関数としてカプセル化される。 モジュールは完全な推論履歴ではなくコンパクトな要約を受け渡す。そして推論戦略は一律に適用されるの ではなく、タスクごとに選択される。その効果は、出力を変える決定にトークンを費やし、既存の結果を 再導出せずに再利用することにある。

その機構は確立された実践との類推である。蒸留は振る舞いをより安価な形へ圧縮する [4]。RAG型の 要約して参照する手法は、コンテキストに保持すべきものを削減する [9]。効率的なアテンションは トークンあたりのシステムコストを低減する [5]。これらが複合して生む節約を支配する条件はただ一つ ——再利用された抽象が、それが適用される問題に適合すること——であり、次節でこれを厳密に定める。

4. 例示的トークン算術

[ILLUSTRATIVE] 算術、明示した前提のもとで。推論モデルが問題ごとに t 個の中間トークンを放出し、 合成的手法がキャッシュされた抽象を再利用することで固定オーバーヘッド c に加えて s 個のトークンのみ を放出するとすれば、問題あたりのトークン比は (s + c) / t となる。t、s、c の値は算術への入力 であって測定値ではない。節約が現実のものとなるのは、抽象が目下の問題に対して再利用可能かつ正しい とき、まさにそのときである。その条件——再利用適合——こそが実質的な変数であり、それは疎な部分集合 の選択が検索インデックスにとっての実質的変数であるのと同じである。

5. 証拠と適用範囲

合成的認知は、決定的な変数を一つ持つ設計である。その効率化の引用が境界づけるのは構成要素であって 複合物ではない。蒸留 [4]、FlashAttention [5]、RAG [9] はいずれも測定済みであり、 合成層は再利用された抽象がタスクに適合する場合にそれらの保証を継承する。ここから二つのトレード オフが直接に導かれ、隠されるのではなく設計によって明示される。第一に、適合しない問題に適用された キャッシュ済み抽象は、速い誤答を生む。ゆえに再利用は適合を条件として制御される。第二に、完全な 履歴の代わりにモジュール間で要約を受け渡すことは、後段の工程が必要とするかもしれない詳細を落とす [10]。これは検索システムが動作するのと同じ境界である。基準点は推論モデルの推論であり、その トークンコストは連鎖長とともに増大する。合成的パイプラインがそれを下回るか否かを決定する変数が、 再利用適合である。「HOF認知」および「合成的認知」とは、蒸留・検索・効率的アテンション・関数合成の 合成を名指す呼称である [4, 5, 9, 1, 2, 3]。

References

  1. John Backus (1978). Can Programming Be Liberated from the von Neumann Style? A Functional Style and Its Algebra of Programs. Communications of the ACM. [1977 ACM Turing Award Lecture]
  2. John Hughes (1989). Why Functional Programming Matters. The Computer Journal.
  3. Christopher Strachey (2000). Fundamental Concepts in Programming Languages. Higher-Order and Symbolic Computation. [Reprint of 1967 lecture notes]
  4. Geoffrey Hinton et al. (2015). Distilling the Knowledge in a Neural Network. NeurIPS Deep Learning and Representation Learning Workshop. arXiv:1503.02531.
  5. Tri Dao et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2205.14135.
  6. Xuezhi Wang et al. (2023). Self-Consistency Improves Chain of Thought Reasoning in Language Models. International Conference on Learning Representations (ICLR). arXiv:2203.11171.
  7. Ashish Vaswani et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS). arXiv:1706.03762.
  8. Tom B. Brown et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2005.14165. [GPT-3]
  9. Patrick Lewis et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems (NeurIPS). arXiv:2005.11401. [RAG]
  10. Ziwei Ji et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys. arXiv:2202.03629.