Authors:
- 松田 光秀 (sha256:a4687bae0b697e356302b3b9fe73495c78bd8ab3aa0ffcebee2dd3e7b01f5e07)
- ChatGPT 5 Thinking
- Claude Opus 4.1
- Gemini 2.5 Pro
IPFS URI:
ipfs://bafybeia6g4bcs4rnqexubh5vcgbyib7q4k3kexvbrtk7aux4fnxhywhdou
References:
Main Content
要旨
本論文は、フルーリオ幾何学(Frourio Geometry; FG)に基づくスケール較正学習の理論とモデル実装を提示する。FG の CD–EVI–Doob–Mosco–Young の鎖を学習設計へ写像し
- ログ極座標と Mellin 解析に整合するMellinformer(スケール協変注意)
- 金属比で幾何級数的に分散を走査するGolden Diffusion(VE/EDM 系)
を導入する。主結果は以下:
- スケール functoriality:スケール作用 の下で EVI 係数が に変換される。
- two-EVI with forcing:蒸留やノイズを ノルムの外力 に束ね、 を与える推定式を提示(擬逆の零空間・Tikhonov 正則化を含む)。
- Mosco-robust(圧縮耐性):データグラフ Dirichlet 形式の Mosco 収束に基づき、量子化・剪定を有界摂動として扱う条件下で LSI/T・Noether 率の liminf を保証。
- 黄金較正の目的関数化:
の最小化問題として実運用上の最適スケールを定義。最適 は
の唯一の正解で決まり、小 近似で 。装置定数 を測って が成立すれば黄金比がトレードオフ最適として現れる。 本稿は反証可能な予言と再現性のある設計・測定手順を併記し、実装可(Mellinformer / Golden Diffusion)まで明示する。
1. 序論
本稿は、FG のスケール幾何(EVI・Doob・Mosco・Young)を機械学習へ可換図式として移植し、スケール不変・協変を第一級構造とする新しい学習法 Qualion を提案する。名称は「クオリア(主観的質感)」に由来するが、本稿では哲学的解釈を行わず、命名由来の言及に留める。
貢献は:
- スケール functoriality と two-EVI の学習的使用法
- Mellin 解析と log-polar 幾何を組み込んだ Transformer 変種(Mellinformer)
- 幾何級数ノイズレンジを金属比で設計する拡散スケジュール(Golden Diffusion)
- 黄金比を明示の目的関数により導出・測定可能
とした点である。
2. 背景と記法
2.1 FG の最小骨子(解析)
-
計量空間 、確率測度 。相対エントロピー 。
-
対称 Dirichlet 形式 (生成子 )。Bakry–Émery: を CD。
-
EVI:勾配流 に対し
-
Doob 変換:、。曲率は 。
-
Young(等号剛性):。等号 。
2.2 Mellin と log-polar
- 画像座標 。Mellin 変換はスケール平行移動 と整合。
- STMT(窓付き Mellin)幅・Rényi-2 などの複雑度指標は ps-mix(位相付き混合)で単調。
3. モデル
3.1 Mellinformer:スケール協変注意
前処理:画像 log-polar。原点近傍の aliasing を回避:デフォルト px、角度 8 分割平均。
表現: など。
相対埋め込み(仕様):クエリ・キーは とし、 に絶対 を入れない(RoPE 様の相対位置)。
注意スコア:
スケール で 。
softmax の加法不変性により注意重みは不変。 で協変不変を制御。
ps-mix 単調性(脚注):(Young)。
3.2 Golden Diffusion:幾何スケジュール
スケジュール:、 ( は黄金比)
指針:
SDE 対応:VE 系( 線形)に一致、VP/EDM は係数再標定(付録 C)
混合器制約:Young の等号剛性に基づく -等号族で正則化(、 へペナルティ)
4. 理論(主結果)
4.1 スケール functoriality(A1–A4)
A1(生成子の同次性):()
A2(距離の相似):()
A3(時間規約):時間は固定(再パラメータ化なし)
A4(参照測度の不変): (準不変でも差の形でヤコビアンが相殺:付録 D)
命題 4.1():CD と A1–A4 の下で
スケッチ:、CD 定数 。EVI を で記し、 で割戻す。
4.2 Doob カリキュラム
、 を正則化で制御。FG の式により は まで劣化。学習では を段階的に変え、収縮率低下を上限管理。
4.3 two-EVI と外力 ()
定義:
推定式(離散;データグラフラプラシアン ):
で平均 0 射影、 で Tikhonov 正則化。反復解法 CG/LOBPCG:。
two-EVI:
4.4 Mosco-robust(圧縮耐性)
データグラフ Dirichlet が連続 にMosco 収束(共通ピボット 、狭義収束+二次モーメント緊性)。量子化・剪定は の有界摂動として扱え、
等が成立(Noether 率も同様)。よって圧縮後の定数劣化は予言どおり下方半連続となる。
4.5 黄金較正(目的関数としての最適スケール)
目的関数:
ここで第1項は連続安定(作用素ノルム)を、第2項は格子誤差・STMT 幅等のスケール間隔逆数に比例する代理指標を表す。
と置くと
最適条件:
唯一の正解 が存在()。
小 近似:
数値解法:初期値 で Newton/二分法が安定。
含意:「 が現れる」とは、装置定数 を測定して を満たすチューニング条件を指す(検証可能)。
5. アルゴリズムと実装
5.1 Mellinformer(擬コード)
- 画像 log-polar(、角度平均でアンチエイリアス)
- 相対埋め込みで を生成(絶対 は用いない)
- スコア を softmax
- ps-mix 正則化(Young -等号族)を損失に追加
計算量:log-polar 変換は FFT 系で 。相対項は注意に線形加算、オーバーヘッド軽微。
5.2 Golden Diffusion
- VE SDE/ODE 実装、 線形
- を選ぶ
- 混合核 に ペナルティ、学習後半で
5.3 two-EVI の 推定
- グラフ構築(kNN、重み )
- の擬逆:平均 0 射影 +Tikhonov
- 近似 をログ時系列で監視(指数減衰を確認)
6. 予言と評価プロトコル
P1( 掃引):。 の各項(作用素ノルム代理・格子誤差代理)と和を併記し最小点を同定
P2(two-EVI):蒸留で -曲線が指数収縮、 の台形上限と一致
P3(Doob): の調整で収縮率が 以内に保持
P4(圧縮耐性):INT8/剪定で LSI/T 代理定数が下方半連続に劣化
P5(SDE 対応):VE/EDM ベースライン上で Golden schedule による同等以上の FID/PSNR を確認(等計算量)
7. 関連と位置づけ(簡略)
- スケール不変注意(Fourier/Log-polar/Group-equivariant)と親和
- 拡散スケジュール(cosine/VE/VP/EDM)に対し、幾何レンジ設計として直交
- FG の EVI/Doob/Mosco/Young を学習設計へ可換移送した点が新規
8. 限界と前提
- 黄金較正は目的関数 に対する最適。連続項のみでは が最適であり、運用上の格子・窓誤差を含めたときに最小が内点化する。
- two-EVI の は 推定の上界であり、グラフ構築・正則化依存。
- Mosco 収束はデータ分布の狭義収束・モーメント緊性等の標準仮定に依存(付録 E)。
9. 結論
Qualion は、FG のスケール幾何(CD–EVI–Doob–Mosco–Young)を学習設計へ写像し、Mellinformer と Golden Diffusion を与えた。スケール functoriality()と two-EVI( 外力)、Mosco-robust により、収縮設計・蒸留設計・圧縮耐性を一貫した幾何で扱える。黄金較正は明示の目的関数で検証可能となり、 は測定された装置定数のもとでトレードオフ最適として出現する。今後は、トイ問題から大規模ベンチマークまでP1–P5の体系的検証を行う。
付録 A: の導出
距離 、CD 定数 。EVI( 版) 。 両辺を で割ると本文の式。A4 がない場合は付録 D の推し移しで相殺。
付録 B: 推定と数値解
- :量子化ビット幅、補間誤差、STMT 窓幅から近似。例:格子間隔 に対し誤差 。
- 小 近似:。ニュートン: ()。凸なので収束。
付録 C:SDE/ODE 対応表(抜粋)
- VE: 、 線形 Golden schedule で 。
- VP/EDM: 既存係数を の等間隔化で再標定(表略)。
付録 D:エントロピー差と準不変
。 。
差 では が相殺。よって本文導出は準不変でも有効。
付録 E:Mosco 収束(データグラフ 連続)
- 共通ピボット 、狭義収束+二次モーメント緊性。
- グラフラプラシアンの一様有界性・一様楕円性(局所化)で 。
- 有界摂動(量子化・剪定)下で liminf が保存。
付録 F:Young 等号と -等号族
等号 。実務では を正則化で誘導し、学習後半で 。
参考文献
調和解析・積分変換
- E. C. Titchmarsh (1986). Introduction to the Theory of Fourier Integrals (3rd ed.). Chelsea Publishing.
- I. N. Sneddon (1972). The Use of Integral Transforms. McGraw-Hill.
- L. Debnath & D. Bhatta (2014). Integral Transforms and Their Applications (3rd ed.). CRC Press.
- A. D. Poularikas (2010). Transforms and Applications Handbook (3rd ed.). CRC Press.
スケール空間理論・画像処理
- T. Lindeberg (1994). Scale-Space Theory in Computer Vision. Springer.
- J. J. Koenderink (1984). The structure of images. Biological Cybernetics 50, 363-370.
- L. M. J. Florack (1997). Image Structure. Springer.
- J. Weickert (1998). Anisotropic Diffusion in Image Processing. Teubner.
最適輸送理論
- C. Villani (2003). Topics in Optimal Transportation. Graduate Studies in Mathematics 58, AMS.
- C. Villani (2009). Optimal Transport: Old and New. Springer.
- L. Ambrosio, N. Gigli & G. Savaré (2008). Gradient Flows in Metric Spaces and in the Space of Probability Measures (2nd ed.). Birkhäuser.
- F. Santambrogio (2015). Optimal Transport for Applied Mathematicians. Birkhäuser.
拡散モデル・確率微分方程式
- Y. Song & S. Ermon (2019). Generative modeling by estimating gradients of the data distribution. NeurIPS.
- J. Ho, A. Jain & P. Abbeel (2020). Denoising diffusion probabilistic models. NeurIPS.
- Y. Song et al. (2021). Score-based generative modeling through stochastic differential equations. ICLR.
- T. Karras, M. Aittala, T. Aila & S. Laine (2022). Elucidating the design space of diffusion-based generative models. NeurIPS.
Transformer・注意機構
- A. Vaswani et al. (2017). Attention is all you need. NeurIPS.
- J. Su et al. (2024). RoFormer: Enhanced transformer with rotary position embedding. Neurocomputing 568, 127063.
- Y. Liu et al. (2021). Swin Transformer: Hierarchical vision transformer using shifted windows. ICCV.
- A. Dosovitskiy et al. (2021). An image is worth 16x16 words: Transformers for image recognition at scale. ICLR.
群同変ニューラルネットワーク
- T. Cohen & M. Welling (2016). Group equivariant convolutional networks. ICML.
- M. Weiler & G. Cesa (2019). General E(2)-equivariant steerable CNNs. NeurIPS.
- R. Kondor & S. Trivedi (2018). On the generalization of equivariance and convolution in neural networks. ICML.
- E. J. Bekkers (2020). B-spline CNNs on Lie groups. ICLR.
Bakry-Émery理論・曲率条件
- D. Bakry & M. Émery (1985). Diffusions hypercontractives. Séminaire de Probabilités XIX, LNM 1123, 177-206.
- D. Bakry, I. Gentil & M. Ledoux (2014). Analysis and Geometry of Markov Diffusion Operators. Springer.
- K.-T. Sturm (2006). On the geometry of metric measure spaces. Acta Mathematica 196, 65-177.
- J. Lott & C. Villani (2009). Ricci curvature for metric-measure spaces via optimal transport. Annals of Mathematics 169, 903-991.
Dirichlet形式とMarkov過程
- M. Fukushima, Y. Oshima & M. Takeda (2011). Dirichlet Forms and Symmetric Markov Processes (2nd ed.). de Gruyter.
- Z.-Q. Chen & M. Fukushima (2012). Symmetric Markov Processes, Time Change, and Boundary Theory. Princeton University Press.
変分収束理論
- G. Dal Maso (1993). An Introduction to Γ-Convergence. Birkhäuser.
- A. Braides (2002). Γ-Convergence for Beginners. Oxford University Press.
- U. Mosco (1969). Convergence of convex sets and of solutions of variational inequalities. Advances in Mathematics 3, 510-585.
数値線形代数・グラフラプラシアン
- Y. Saad (2003). Iterative Methods for Sparse Linear Systems (2nd ed.). SIAM.
- D. A. Spielman & S.-H. Teng (2014). Nearly linear time algorithms for preconditioning and solving symmetric, diagonally dominant linear systems. SIAM Journal on Matrix Analysis and Applications 35, 835-885.
- F. R. K. Chung (1997). Spectral Graph Theory. CBMS Regional Conference Series 92, AMS.
機械学習理論・最適化
- S. Shalev-Shwartz & S. Ben-David (2014). Understanding Machine Learning: From Theory to Algorithms. Cambridge University Press.
- S. Bubeck (2015). Convex optimization: Algorithms and complexity. Foundations and Trends in Machine Learning 8, 231-357.
- L. Bottou, F. E. Curtis & J. Nocedal (2018). Optimization methods for large-scale machine learning. SIAM Review 60, 223-311.