高次元埋め込みにおけるベクトル類似度を掘り下げる

高次元空間で「内積がある特定の値以上になる確率」を求める方法は、シンプルな原理に基づいている。単位球の表面積を求め、その内積が表す角度からキャップの面積を算出し、これを全体の表面積と比較すればよい。

しかし、このシンプルな計算によって、実際に内積という値が高次元の埋め込み空間でどれほど「まれなのか、あるいはありふれているのか」を具体的に把握できる点が重要だ。特に 0.9 以上の内積が極端にまれであるという事実は、埋め込みベースの検索において高い類似度スコアがどれほど重要なシグナルになり得るかをよく示している。