本書圍繞數據降維技術,分別針對線性降維和非線性降維兩種降維手段進行廣泛而深入的討論。對于線性降維技術,本書介紹了常用的降維算法,并對線性降維與矩陣分解的等價性進行了分析,在此基礎上提出了semi-NMF、OCA、IOCA、EOCA等改進算法并進行詳細的理論分析和實驗驗證。對于非線性降維算法,本書介紹了常用算法,包括流形學習算法、基于核方法和基于神經網絡的數據降維,并提出了改進的基準點選取SL-Isomap算法及基于拓撲學習的流形學習算法TLE。
目錄
前言
第1章 緒論 1
1.1 數據降維算法分類 4
1.2 本書主要內容與組織結構 6
第2章 經典線性降維算法介紹 9
2.1 主成分分析 10
2.2 線性判別分析 14
2.3 獨立成分分析 16
2.4 隨機投影 18
2.5 非負矩陣分解 19
2.6 局部保持投影 24
2.7 增量式線性判別分析 25
2.8 無偏協方差無關增量主成分分析 30
2.9 典型相關分析 32
2.10 本章小結 34
第3章 線性降維中基本問題的討論 35
3.1 線性降維與矩陣分解 36
3.2 數據選擇與自適應閾值系統 38
3.3 線性方程組的求解問題與矩陣條件數 41
3.4 本章小結 46
第4章 基于數據選擇的半非負矩陣分解 48
4.1 引言 49
4.2 相關工作介紹 50
4.3 基于數據選擇的 semi-NMF 算法 52
4.4 實驗 55
4.4.1 在單張圖片上的矩陣分解實驗 56
4.4.2 在真實數據集上的實驗 58
4.5 本章小結 63
第5章 正交成分提取分析 64
5.1 引言 65
5.2 OCA算法描述 66
5.3 OCA算法分析 68
5.4 實驗 71
5.4.1 在人工數據集上的實驗 71
5.4.2 在真實數據集上的實驗 74
5.5 本章小結 81
第6章 增量式正交成分分析 83
6.1 引言 84
6.2 IOCA算法描述 86
6.3 IOCA算法分析 88
6.3.1 關于 IOCA學習過程的分析 88
6.3.2 關于 IOCA有效性的分析 94
6.4 實驗 96
6.4.1 在人工數據集上的實驗 96
6.4.2 在真實數據集上的實驗 99
6.5 本章小結 106
第7章 子空間正交基底在線調整算法 108
7.1 引言 109
7.2 子空間正交基底調整算法 110
7.2.1 子空間的 \對齊" 112
7.2.2 子空間的基底的更新 114
7.2.3 新子空間唯一性的證明 116
7.3 EOCA算法 119
7.4 實驗 122
7.4.1 在人工數據集上的實驗 122
7.4.2 在真實數據集上的實驗 124
7.5 本章小結 127
第8章 經典非線性降維算法 128
8.1 拉普拉斯特征映射 129
8.2 經典多維尺度變換 130
8.3 等距特征映射 131
8.4 局部線性嵌入 132
8.5 局部切空間規整 133
8.6 隨機近鄰嵌入與對稱隨機近鄰嵌入 135
8.7 基于核方法的數據降維 138
8.8 基于神經網絡的數據降維 139
8.9 本章小結 141
第9章 改進的基準點選取 SL-Isomap 算法 142
9.1 引言 143
9.2 SOINN 147
9.3 SL-Isomap算法描述 150
9.3.1 基準點選取 151
9.3.2 測地線距離計算 153
9.3.3 基準點降維映射 154
9.3.4 基于基準點對數據降維映射 154
9.3.5 坐標標準化 155
9.4 拓撲保持分析 155
9.4.1 算法分析 155
9.4.2 計算與空間復雜度分析 155
9.5 對比實驗分析 156
9.5.1 Swiss roll data數據集 157
9.5.2 含噪聲的 Swiss roll data數據集 158
9.5.3 AT&T face數據集 160
9.5.4 誤差分析 162
9.6 本章小結 163
第10章 拓撲學習與在線映射算法 164
10.1 引言 165
10.2 TLOE算法描述 166
10.2.1 基準點近鄰圖構造 167
10.2.2 基準點測地線距離計算 167
10.2.3 基準點降維映射 168
10.2.4 新數據點測地線距離計算 .169
10.2.5 新數據點降維映射 169
10.3 拓撲保持分析 170
10.4 計算與空間復雜度分析 170
10.5 對比實驗分析 171
10.5.1 Swiss roll data數據集的降維可視化 171
10.5.2 MNIST數據集的分類任務 172
10.6 誤差分析 173
10.7 本章小結 174
第11章 基于拓撲學習的流形學習算法 175
11.1 引言 176
11.2 拓撲學習嵌入 178
11.2.1 拓撲學習 179
11.2.2 數據嵌入 184
11.3 實驗 185
11.3.1 在人工數據集上的實驗 185
11.3.2 在手寫數字數據集上的實驗 193
11.4 本章小結 195
第12章 總結與展望 196
12.1 主要工作內容 197
12.2 工作展望 198
參考文獻 .199
索引 207