《吉布斯分布的局部、動態與快速采樣算法》由愛丁堡大學博士后鳳維明撰寫,內容榮獲2021年度CCF優秀博士學位論文獎。全書立足大數據背景下的新問題,從分布式采樣和動態采樣兩個具體問題入手,給出了有理論保障的算法并研究了新模型下采樣問題的復雜性。
《吉布斯分布的局部、動態與快速采樣算法》共十章,分為四個部分:
第零部分(第1~2章)主要介紹了全書的研究背景、研究問題、研究成果,向讀者講解了全書的結構和章節安排,之后給出了吉布斯分布和采樣問題的嚴格數學定義,介紹全書中經常使用的相關概念,并總結一部分已有的算法設計和分析技術。
第一部分(第3~5章)從算法和復雜性兩個層面介紹有關局部采樣的研究成果。
第二部分(第6~8章)給出了兩種不同的動態采樣算法設計技術,并分析相應的算法性能。
第三部分(第9~10章)研究了經典的公開問題,給出了一種新的快速采樣算法設計技術和一種新的馬爾可夫鏈收斂時間分析技術。
所有介紹新結果的章節都給出了相應的本章小結,總結了該章的研究成果,列舉了該方向遺留的公開問題。
適讀人群 :研究生、科研人員、從業者等
◆中國計算機領域具有重要突破或重要創新的博士研究生科研成果
◆2021年度CCF優秀博士學位論文獎
◆剖析當前技術的本質障礙,從原理層面創新解決方法
◆關注并行的、動態的采樣算法
◆基于大數據背景思考新采樣理論體系的建立
吉布斯分布是一類重要的概率模型,它在概率論、統計物理和計算機科學等領域有著非常廣泛的應用。采樣是關于吉布斯分布的核心計算任務,它要求算法按照給定的分布生成一個隨機樣本。吉布斯分布的采樣問題是理論計算機 科學的重要課題之一,人們致力于探索有嚴格理論保障的算法以及采樣問題的計算復雜性。經過數十年的深入研究,拒絕采樣、馬爾可夫鏈蒙特卡洛方法等采樣技術逐漸被發展起來,很多重要的采樣問題被成功解決。
雖然先前的研究回答了關于采樣的若干基本問題,但是目前已知的采樣算法較少,分析工具也有待加強,一些重要的問題沒有得到很好的解決。例如對于均勻采樣邏輯公式滿足解的問題,因為很多經典算法無法適用,所以長期缺乏高效算法;對于均勻采樣合法圖染色問題,因為缺乏有力的分析工具,所以目前已知的算法收斂條件和猜想依然有很大差距。這些公開問題代表了當前技術上的本質障礙,解決這些問題需要在原理層面上做出創新。另一方面,在大數據時代,很多新的采樣問題涌現出來。一些經典的采樣技術只能給出高度串行、適用于靜態數據的采樣算法。而在如今的應用中,并行的、動態的采樣算法越來越受到關注。傳統的采樣理論難以勝任新的問題,在大數據背景下,人們需要建立新的采樣理論體系。
鳳維明,愛丁堡大學博士后。于2016年在電子科技大學信息與通信工程學院獲得工學學士學位,并于2021年在南京大學計算機科學與技術系獲得工學博士學位。主要研究方向包括采樣和計數算法、隨機算法、分布式圖算法。在STOC、FOCS、SODA等國際頂級會議以及JACM、SICOMP等權威期刊上發表多篇論文。曾獲得博士研究生國家獎學金、微軟學者獎學金、江蘇省省級優秀畢業生和南京大學優秀畢業生等榮譽。博士畢業論文曾獲得2021年度CCF優秀博士學位論文獎和江蘇省優秀博士學位論文獎。
第1部分 緒論與預備知識
第1章 緒論
1.1 研究背景2
1.2 研究問題6
1.3 主要成果11
1.4 本書結構與章節安排15
第2章 吉布斯分布與預備知識
2.1 吉布斯分布17
2.1.1 概率圖模型17
2.1.2 自旋系統與具體模型21
2.2 采樣與近似計數23
2.3 馬爾可夫鏈25
2.3.1 基本概念25
2.3.2 馬爾可夫鏈蒙特卡洛方法26
2.3.3 混合時間分析工具29
第2部分 分布式采樣
第3章 分布式采樣總覽
3.1 分布式計算與LOCAL模型44
3.2 分布式采樣與分布式計數46
3.3 分布式采樣部分章節安排48
第4章 分布式采樣算法
4.1 問題定義50
4.2 局部梅特羅波利斯算法51
4.2.1 算法與主要結論51
4.2.2 局部梅特羅波利斯算法的平穩分布54
4.2.3 局部梅特羅波利斯算法的混合時間61
4.3 梅特羅波利斯算法的分布式模擬68
4.3.1 主要結論71
4.3.2 模擬算法74
4.3.3 算法分析84
4.4 本章小結101
第5章 分布式采樣復雜性
5.1 分布式采樣下界102
5.2 分布式JerrumValiantVazirani(JVV)定理117
5.2.1 基本定義117
5.2.2 近似采樣和近似推斷之間的歸約122
5.2.3 分布式JVV采樣算法123
5.3 強空間混合性質與分布式采樣/計數138
5.4 本章小結143
第3部分 動態采樣
第6章 動態采樣總覽
6.1 研究背景146
6.2 問題定義147
6.3 主要結論149
第7章 條件吉布斯采樣技術
7.1 局部拒絕采樣算法161
7.2 精確吉布斯采樣算法164
7.3 正確性分析167
7.3.1 均衡條件167
7.3.2 局部拒絕采樣算法均衡條件驗證174
7.3.3 精確吉布斯采樣算法均衡條件驗證181
7.3.4 推廣版算法185
7.4 收斂性分析189
7.4.1 局部拒絕采樣算法收斂性分析189
7.4.2 精確吉布斯采樣算法收斂性分析195
7.5 本章小結209
第8章 動態馬爾可夫鏈技術
8.1 動態吉布斯采樣算法210
8.1.1 動態自旋系統上馬爾可夫鏈的耦合211
8.1.2 動態馬爾可夫鏈的數據結構215
8.1.3 動態吉布斯采樣算法分析217
8.2 動態馬爾可夫鏈在推斷問題上的應用223
8.2.1 支持多參數更新的動態馬爾可夫鏈226
8.2.2 算法的實現與分析233
8.3 本章小結241
第4部分 快速采樣算法
第9章 洛瓦茲局部引理采樣問題
9.1 研究背景244
9.2 主要結論246
9.3 基本定義與背景知識252
9.4 采樣算法256
9.4.1 CNF公式滿足解采樣算法256
9.4.2 狀態壓縮技術265
9.4.3 一般約束滿足問題采樣算法273
9.5 算法分析278
9.5.1 主定理證明279
9.5.2 投影策略的構造290
9.5.3 InvSample子程序分析301
9.5.4 混合時間分析316
9.6 局部引理問題實例的近似計數389
9.7 本章小結406
第10章 譜獨立性與混合時間
10.1 研究背景408
10.2 主要結論410
10.2.1 譜獨立性與吉布斯采樣算法混合時間410
10.2.2 圖染色模型上的應用414
10.3 混合時間分析418
10.3.1 主定理證明418
10.3.2 局部隨機游走的耦合423
10.4 圖染色模型的譜獨立性430
10.4.1 一般性定理的證明433
10.4.2 邊緣概率上界分析450
10.4.3 邊緣概率上界分析的緊致性456
10.5 本章小結458
致謝459
參考文獻462
附錄 文中部分專業名詞中英翻譯對照表481
攻讀博士學位期間的科研成果484
攻讀博士學位期間參與的科研課題486