流形假設
流形假設認為，現實中的很多高維數據集實際上沿着高維空間內的低維潛流形分布。[1][2][3][4]流形假設的結果是，很多最初看起來需要很多變量描述的數據集，實際上只需要較少變量，這好比底流形的局部坐標系。有人認為，這原理是機器學習算法通過考慮一些共有特徵以有效描述高維數據集的基礎。
流形假設與機器學習中非線性降維的有效性有關。流形雕刻、流形對齊、流形正則化等很多降維技術都假設數據位於低維子流形上。
流形假設的主要意義在於
統計流形的信息幾何[編輯]
流形假設的一種經驗主義方法側重於與流形學習理論間的對應，其假設是：穩健的機器學習需要用數據壓縮方法編碼感興趣的數據集。在有效編碼假設、預測編碼與變分貝葉斯方法的研究者們共同努力下，這一觀點利用信息幾何工具逐漸形成。
推理分布潛空間的信息幾何的論據在於費舍爾信息度量的存在性和唯一性。[6]在這種一般情形下，我們試圖找到統計流形的隨機嵌入。從動力系統的角度看，大數據情景中流形通常表現出某些特性，如均衡性
- 可從底層生成過程中獲取大量數據樣本
- 機器學習實驗具有可重複性，因此生成過程的統計表現為靜態（stationarity）
理論神經科學家在研究自由能原理時精確地指出，有關的統計流形表現為馬爾可夫毯。[7]
巴別塔悖論[編輯]
Romain Brette的巴別塔悖論[8]是有效編碼假設在生物可行的流形學習算法面臨的基本挑戰：
有效編碼假設認為，神經元將信號高效地編碼為尖峰序列，即去除原信息的所有冗餘、同時保留信息，即編碼後信息可映射回原信息 (Barlow, 1961; Simoncelli, 2003)。這意味着在完全有效的編碼中，編碼信息與隨機信息沒有區別。編碼根據輸入的統計數據確定，且只傳遞編碼後的信息，因此編碼的有效程度是接收者無法理解的。這就是有效編碼的悖論。
在神經編碼的隱喻中，編碼是「私有」的，是每個神經元特有的。然則所有神經元使用的都是不同的語言，能非常簡潔地表達概念，其他人卻無法理解。因此，根據編碼隱喻，大腦就是一座巴別塔。
預測與有效編碼理論預測，每個神經元都有自己的有效編碼，是由最大熵推理得出的。可將這些局部編碼視作不同的語言。Brette隨後推測，既然神經元都有種對相鄰神經元的隨機語言，那麼全局編碼應該是不可能的。
參考文獻[編輯]
- ^ Gorban, A. N.; Tyukin, I. Y. Blessing of dimensionality: mathematical foundations of the statistical physics of data. Phil. Trans. R. Soc. A. 2018, 15 (3): 20170237. Bibcode:2018RSPTA.37670237G. PMC 5869543
. PMID 29555807. doi:10.1098/rsta.2017.0237.
- ^ Cayton, L. Algorithms for manifold learning (PDF) (技術報告). University of California at San Diego: 1. 2005. 12(1–17).
- ^ Fefferman, Charles; Mitter, Sanjoy; Narayanan, Hariharan. Testing the manifold hypothesis. Journal of the American Mathematical Society. 2016-02-09, 29 (4): 983–1049. S2CID 50258911. arXiv:1310.0425 . doi:10.1090/jams/852.
- ^ Olah, Christopher. Blog: Neural Networks, Manifolds, and Topology. 2014.
- ^ Chollet, Francois. Deep Learning with Python 2nd. Manning. 2021: 128–129. ISBN 9781617296864.
- ^ Caticha, Ariel. Geometry from Information Geometry. MaxEnt 2015, the 35th International Workshop on Bayesian Inference and Maximum Entropy Methods in Science and Engineering. 2015. arXiv:1512.09076 .
- ^ Kirchhoff, Michael; Parr, Thomas; Palacios, Ensor; Friston, Karl; Kiverstein, Julian. The Markov blankets of life: autonomy, active inference and the free energy principle. J. R. Soc. Interface. 2018, 15 (138): 20170792. PMC 5805980 . PMID 29343629. doi:10.1098/rsif.2017.0792.
- ^ Brette, R. 07 December 2017. The Paradox of the Efficient Code and the Neural Tower of Babel [Blog post]. Retrieved from http://romainbrette.fr/what-is-computational-neuroscience-xxvii-the-paradox-of-the-efficient-code-and-the-neural-tower-of-babel/
閱讀更多[編輯]
- Brown, Bradley C. A.; Caterini, Anthony L.; Ross, Brendan Leigh; Cresswell, Jesse C.; Loaiza-Ganem, Gabriel. The Union of Manifolds Hypothesis and its Implications for Deep Generative Modelling. The Eleventh International Conference on Learning Representations. 2023. arXiv:2207.02862 .
- Lee, Yonghyeon. A Geometric Perspective on Autoencoders. 2023. arXiv:2309.08247 .