重整化群與深度學習

變分重整化群與深度學習之間的精確對映

深度網路的本質(網路層次對資料特徵的描述,具有抽象性和對稱性)體現出了重整性。

重整化研究,在不同尺度(時間和空間)下,標度(粗粒度)的變換,導致物理系統的性質的變化中的呈現的不變性。

深度學習行之有效的本質在於:深度網路能夠從資料中提取隱藏的對稱性和約束,經過訓練後,能夠穩定的提取特徵,並具有泛化能力,高層特徵是底層特徵的抽象,隨著層次的提升,特徵越來越抽象,越涉及重整性。

深度學習與重整化群密切相關。重整化群是一種迭代的粗粒度方案,可以從多尺度,標度變換下,提取物理系統的性質。

用一維和二維的最近鄰伊辛模型,在變分重整化群和基於受限玻爾茲曼機網路結構之間構造了一個精確的對映,結果表明深度學習演算法可能採用一種廣義的類似變分重整化群的方案來從資料中學習相關特徵。

Mutual Information, Neural Networks and the Renormalization Group

互資訊、神經網路和重整化群

重整化群程式揭示了微觀細節不同的物理系統在宏觀尺度下探測時,往往表現出驚人的相似行為的普遍性質。在很大程度上決定了它們的物理特徵,該程式系統地保留了“慢”自由度,並整合了其餘的自由度。然而,重要的自由度可能很難識別。一種機器學習演算法,它能夠識別相關的自由度,並在沒有任何系統先驗知識的情況下迭代執行RG步驟。

我們介紹了一種基於真實空間RG過程的獨立於模型的資訊理論特徵的人工神經網路,執行這一任務。我們將該演算法應用於一維和二維的經典統計物理問題。我們演示RG流並提取伊辛臨界指數。我們的結果表明,機器學習技術可以提取抽象的物理概念,並因此成為理論和模型構建的一個組成部分。

Neural Network Renormalization Group

提出了一種基於分層結構可逆生成模型的變分重整化群方法。該模型執行從物理空間到具有減少的互資訊的潛在空間的分級變數變化轉換。

相反,神經網路直接將獨立的高斯噪聲對映到遵循逆RG流的物理配置。該模型具有精確且易處理的似然性,這允許無偏訓練和直接訪問潛變數的重整化能量函式。為了訓練模型,我們對物理問題的裸能量函式採用機率密度蒸餾,其中訓練損失提供了物理自由能的變分上界。我們透過識別伊辛模型的相互獨立的集體變數,並在潛在空間中執行加速混合蒙特卡羅取樣,來演示該方法的實際應用。最後,我們評論了目前的方法與RG的小波公式和資訊保持RG的現代追求之間的聯絡。

基於神經網路重整化群的機器學習全息對映

精確全息對映(EHM)提供了共形場理論(CFT)構型和在出射經典幾何上傳播的大質量場之間的顯式對偶對映。然而,設計最佳全息對映是具有挑戰性的。在這裡,我們介紹神經網路重整化群,它是為相互作用場論設計一般EHM的通用方法。給定一個場論作用,我們訓練一個基於流的分層深度生成神經網路,從不相關的體場漲落中再現邊界場系綜。以這種方式,神經網路發展了最優重整化群變換。使用機器設計的EHM將CFT映射回大量有效動作,我們根據剩餘互資訊確定大量測地線距離。我們將這種方法應用於二維歐幾里德時空中處於臨界階段的復φ4理論,並證明了出射體幾何與三維雙曲幾何相匹配。

RG-FLOW:基於重整化群和稀疏先驗的分層可解釋

基於流的生成模型已經成為一類重要的無監督學習方法。在這項工作中,我們結合重正化群和稀疏先驗分佈的關鍵思想,設計了一個分層的基於流的生成模型,稱為RG-Flow,它可以在不同尺度的影象上分離資訊,並在每個尺度上分解表示。我們主要在CelebA資料集上演示了我們的方法,並表明不同尺度下的解糾纏表示能夠實現影象的語義操作和風格混合。為了視覺化潛在的表示,我們為基於流的模型引入感受野,並發現RG-Flow學習的感受野與卷積神經網路中的相似。此外,我們用稀疏先驗分佈代替廣泛採用的高斯先驗分佈,以進一步增強表示的解糾纏性。從理論的角度來看,與以往具有0(L2)複雜度的生成模型相比,該方法對於影象修復具有0(對數)複雜度。

重整化群與深度學習