分散ベクトル表現への精神物理学的アプローチ

著者：Asher Bond（asher.bond@distillative.ai）

要旨

分散ベクトル表現——項目を埋め込み、近似最近傍（ANN）探索によって取り出す手法 [1] ——は、意味検索の確立された基盤である。本稿は、この表現上での選択的かつ疎な活性化を統べる制御則として、三つの精神物理学的原理を適用する。すなわち、Weber–Fechner 圧縮 [2] ——絶対量ではなく「相対的」変化に比例して労力を割く原理——、弁別閾（JND） ——閾下の更新を抑制し、意味をもつ変化に計算を集中させる原理——、そして信号検出理論（SDT） [3] ——信号を雑音から切り分けることで、どのノード・経路を活性化するかを決める原理——である。これらは測定可能な知覚のツールであり、Weber–Fechner のスケーリング、JND、そして SDT の感度（d′）と基準（β）を、活性化の判断そのものに直接適用する。判断の上に被せた比喩ではない。

1. 分散ベクトル表現

項目を共有ベクトル空間へ埋め込み、ANN 探索で取り出す技法は、FAISS [1] に集約された成熟した GPU 加速技法である。コーパスの増大とともに増えるコストは、索引参照ではない。変動（churn）——ほとんど動いていない項目についてまで再計算し、再重み付けし、更新を伝播させること——である。本設計はこの変動を標的にする。ANN 索引付きストア上で、各ステップの本質的な問いは「最近傍は何か」ではなく「どの項目が、触れるに値するほど変化したか」である。そしてこれは、確立された定量的形式をもつ知覚上の判断にほかならない。

2. 適用される三つの精神物理学的原理

Weber–Fechner 圧縮。 知覚は比例的変化に応答する。差を感知するのに要する増分は、すでに存在する量の大きさに比例して大きくなる [2]。これを制御則として読めば、「相対的」変化が大きいところに労力を割き、すでに強い信号への応答は減衰させよ、という指示になる。大きく安定したノルムをもつベクトル項目は、小さな摂動を、検索挙動の意味ある変化を伴わずに吸収する。それを飛ばせと系に告げるのが、この圧縮的な曲線である。これは、更新の労力をどこへ配分するかを統べる、測定可能な Weber–Fechner 関係である。

弁別閾。 JND とは、検出器が分解しうる最小の変化である。ベクトルストアに適用すれば、それは活性化の閾値となる。効果が JND を下回る更新は、下流の検索を何ら変えないため抑制され、計算は閾上の変化に集中する。閾値を JND に置くことは、あらゆる微小摂動を伝播させることと、結果を変える変化だけを伝播させることとの分かれ目である。閾値は分解能の限界であり、そのものとして適用される。

信号検出理論。 観測された変化が意味ある信号か雑音かを判断することは、検出問題である [3]。SDT はこれに、独立に調整可能な二つのつまみを与える。感度（d′）——実の変化が背景雑音からどれだけ分離可能か——と、基準（β）——系がどれだけ積極的に活性化するか——である。どのノード・経路を発火させるかを決めるにあたっての再現率対雑音のトレードオフは、ROC 曲線上での基準の移動であり、基盤となる表現の質が d′ である。ここで、活性化の判断は数値と出会う。

3. 合成された制御則としての疎な活性化

三つの原理は、ANN ストア [1] 上の一つの方策へと合成される。Weber–Fechner のスケーリングが、すでに存在する信号に対して変化が「どれだけ」重みをもつかを定め、JND が、それを下回れば変化を捨てる「閾値」を定め、SDT が、d′ と β を調整可能なパラメータとして「活性化するか否か」の「判断」を定める。各項目の更新はこの方策を通じてゲートされるため、ステップごとの作業量は、コーパス全体ではなく、閾上（supra-JND）かつ基準超の変化の集合を追う。この節約は、ゲートの直接的な帰結である。表現は大きいまま保たれるが、活性化される部分集合は小さいまま保たれる。何が閾を越えるかを、精神物理学が決めるからである。

証拠と適用範囲

これは、適用された精神物理学に根ざした設計であり、ベンチマーク報告ではない。Weber–Fechner のスケーリング [2]、JND、そして信号検出理論 [3] は、活性化方策がそこから組み立てられる測定可能なツールであり、d′ と β はその調整可能なパラメータである。この設計が定めるアーキテクチャ——ANN 索引付きベクトルストア上の、疎で閾値ゲートされた活性化——は、共有コーパスにおいて FAISS [1] と、検索品質と更新コストについて比較測定されるに足る。FAISS が基準となる基盤であり、精神物理学的ゲートは、各ステップがコーパスのどれだけに触れねばならないかを決める変数である。

References

  1. Jeff Johnson et al. (2019). Billion-Scale Similarity Search with GPUs. IEEE Transactions on Big Data. arXiv:1702.08734. [FAISS]
  2. Gustav Theodor Fechner (1860). Elemente der Psychophysik. Breitkopf und Härtel.
  3. David M. Green & John A. Swets (1966). Signal Detection Theory and Psychophysics. Wiley.