學習并精通任何一門學科無外乎要經過四個步驟:它是什么?它可行嗎?怎么學它?如何學好它?機器學習也不例外,《快樂機器學習》就以這四個步驟來介紹機器學習!犊鞓窓C器學習》第1章介紹“機器學習是什么”,即從定義開始,詳細介紹機器學習涉及的知識、數據和性能度量。第2章介紹“機器學習可行嗎”,即介紹機器具備學習樣本以外的數據的能力。第3章介紹“機器學習怎么學”,即介紹機器如何選擇出最優模型。作者在這3章的寫作上花費的時間最多,光這3章的內容就絕對會讓讀者有所收獲。第4~14章介紹“如何學好機器學習”,重點介紹機器學習的各類算法和調參技巧。第15 章介紹機器學習中的一些非常實用的經驗,包括學習策略、目標設定、誤差分析和偏差與方差分析。作者寫作本書的目的是深入淺出介紹機器學習,使看似復雜、晦澀的專業知識變得通俗易懂,讓那些想入門的讀者感覺門檻沒有那么高,讓有基礎的讀者感覺內容也很豐富。為了達到這兩個目的,本書用有趣的引言故事來激起讀者的閱讀興趣,用清晰的思維導圖來明晰結構,用自畫圖表來增強美感,用公式推導來講透原理,達到趣、美、準、全,讓每位讀者從本書中獲益,快樂地學習機器學習。《快樂機器學習》非常適合機器學習初學者、高校相關專業學生及有一定數學和統計學基礎的高中生學習。
王圣元 金融風險管理師;特許另類投資分析師。學習及工作經歷:現任新加坡某金融咨詢公司總監。擁有新加坡國立大學量化金融學士學位和金融數學碩士學位;在新加坡國立大學攻讀碩士學位期間,曾任金融數學課程的輔導老師,深受學生喜愛,在教課結束時被評為“優秀輔導老師”。 自我學習過程:獲得金融風險管理師 (FRM) 和特許另類投資分析師 (CAIA) 認證,及 Coursera 頒發的機器學習、深度學習和TensorFlow實戰的認證。平時堅持寫作,是公眾號“王的機器”的主理人,其中分享了關于金融工程、機器學習和量化投資的高質量文章。作者的信條是“Yearning for Learning, Leading by Reading, Distilling by Writing”(多學多讀多寫,終身渴望學習,通過讀書保持領先,通過寫作用心灌輸)。
目錄
第1章 機器學習是什么——機器學習定義 1
引言 2
1.1 數據 5
1.1.1 結構型與非結構型數據 5
1.1.2 原始數據與加工 7
1.1.3 樣本內數據與樣本外數據 9
1.2 機器學習類別 9
1.2.1 有監督學習 10
1.2.2 無監督學習 10
1.2.3 半監督學習 11
1.2.4 增強學習 11
1.2.5 深度學習 11
1.2.6 遷移學習 12
1.3 性能度量 12
1.3.1 誤差函數 13
1.3.2 回歸度量 14
1.3.3 分類度量 15
1.4 總結 19
參考資料 20
第2章 機器學習可行嗎——計算學習理論 22
引言 23
2.1 基礎知識 25
2.1.1 二分類 25
2.1.2 對分 26
2.1.3 增長函數 29
2.1.4 突破點 30
2.2 核心推導 31
2.2.1 機器學習可行條件 31
2.2.2 從已知推未知 33
2.2.3 從民意調查到機器學習 35
2.2.4 從單一到有限 36
2.2.5 從有限到無限 37
2.2.6 從無限到有限 38
2.3 結論應用 39
2.3.1 VC 不等式 39
2.3.2 VC 維度 40
2.3.3 模型復雜度 40
2.3.4 樣本復雜度 41
2.4 總結 42
參考資料 43
技術附錄 43
第3章 機器學習怎么學——模型評估選擇 47
引言 48
3.1 模型評估 52
3.2 訓練誤差和測試誤差 52
3.2.1 訓練誤差 52
3.2.2 真實誤差 54
3.2.3 測試誤差 57
3.2.4 學習理論 57
3.3 驗證誤差和交叉驗證誤差 60
3.3.1 驗證誤差 60
3.3.2 交叉驗證誤差 61
3.3.3 學習理論 62
3.4 誤差剖析 64
3.4.1 誤差來源 64
3.4.2 偏差—方差權衡 66
3.5 模型選擇 67
3.6 總結 70
參考資料 71
技術附錄 71
第4章 線性回歸 73
引言 74
4.1 基礎知識 75
4.1.1 標量微積分 75
4.1.2 向量微積分 76
4.2 模型介紹 77
4.2.1 核心問題 77
4.2.2 通用線性回歸模型 83
4.2.3 特征縮放 84
4.2.4 學習率設定 86
4.2.5 數值算法比較 87
4.2.6 代碼實現 89
4.3 總結 90
參考資料 90
第5章 對率回歸 92
引言 93
5.1 基礎內容 94
5.1.1 聯系函數 94
5.1.2 函數繪圖 95
5.2 模型介紹 96
5.2.1 核心問題 96
5.2.2 查準和查全 102
5.2.3 類別不平衡 104
5.2.4 線性不可分 105
5.2.5 多分類問題 106
5.2.6 代碼實現 109
5.3 總結 110
參考資料 111
第6章 正則化回歸 112
引言 113
6.1 基礎知識 114
6.1.1 等值線圖 114
6.1.2 坐標下降 116
6.2 模型介紹 116
6.2.1 核心問題 116
6.2.2 模型對比 122
6.2.3 最佳模型 125
6.2.4 代碼實現 126
6.3 總結 126
參考資料 127
第7章 支持向量機 128
引言 129
7.1 基礎知識 133
7.1.1 向量初體驗 133
7.1.2 拉格朗日量 136
7.1.3 原始和對偶 137
7.2 模型介紹 138
7.2.1 硬間隔 SVM 原始問題 138
7.2.2 硬間隔 SVM 對偶問題 144
7.2.3 軟間隔 SVM 原始問題 148
7.2.4 軟間隔 SVM 對偶問題 150
7.2.5 空間轉換 151
7.2.6 核技巧 155
7.2.7 核 SVM 158
7.2.8 SMO 算法 159
7.2.9 模型選擇 161
7.3 總結 162
參考資料 164
技術附錄 164
第8章 樸素貝葉斯 170
引言 171
8.1 基礎知識 174
8.1.1 兩種概率學派 174
8.1.2 兩種獨立類別 174
8.1.3 兩種學習算法 175
8.1.4 兩種估計方法 176
8.1.5 兩類概率分布 177
8.2 模型介紹 179
8.2.1 問題剖析 179
8.2.2 樸素貝葉斯算法 182
8.2.3 多元伯努利模型 183
8.2.4 多項事件模型 184
8.2.5 高斯判別分析模型 184
8.2.6 多分類問題 186
8.2.7 拉普拉斯校正 187
8.2.8 最大似然估計和最大后驗估計 188
8.3 總結 190
參考資料 191
技術附錄 191
第9章 決策樹 195
引言 196
9.1 基礎知識 198
9.1.1 多數規則 198
9.1.2 熵和條件熵 198
9.1.3 信息增益和信息增益比 200
9.1.4 基尼指數 201
9.2 模型介紹 201
9.2.1 二分類決策樹 201
9.2.2 多分類決策樹 209
9.2.3 連續值分裂 210
9.2.4 欠擬合和過擬合 211
9.2.5 預修剪和后修剪 212
9.2.6 數據缺失 215
9.2.7 代碼實現 218
9.3 總結 219
參考資料 219
第10章 人工神經網絡 220
引言 221
10.1 基本知識 223
10.1.1 轉換函數 223
10.1.2 單輸入單層單輸出神經網絡 224
10.1.3 多輸入單層單輸出神經網絡 224
10.1.4 多輸入單層多輸出神經網絡 225
10.1.5 多輸入多層多輸出神經網絡 225
10.2 模型應用 227
10.2.1 創建神經網絡模型 227
10.2.2 回歸應用 230
10.2.3 分類應用 238
第11章 正向/反向傳播 246
引言 247
11.1 基礎知識 250
11.1.1 神經網絡元素 250
11.1.2 鏈式法則 254
11.2 算法介紹 254
11.2.1 正向傳播 254
11.2.2 梯度下降 257
11.2.3 反向傳播 258
11.2.4 代碼實現 262
11.3 總結 268
參考資料 268
技術附錄 269
第12章 集成學習 272
引言 273
12.1 結合假設 277
12.1.1 語文和數學 277
12.1.2 準確和多樣 278
12.1.3 獨裁和民主 279
12.1.4 學習并結合 279
12.2 裝袋法 280
12.2.1 基本概念 280
12.2.2 自助采樣 280
12.2.3 結合假設 281
12.3 提升法 282
12.3.1 基本概念 282
12.3.2 最優加權 283
12.3.3 結合假設 285
12.4 集成方式 286
12.4.1 同質學習器 286
12.4.2 異質學習器 286
12.5 總結 288
參考資料 288
第13章 隨機森林和提升樹 289
引言 290
13.1 基礎知識 293
13.1.1 分類回歸樹 293
13.1.2 前向分布算法 294
13.1.3 置換檢驗 295
13.2 模型介紹 296
13.2.1 隨機森林 296
13.2.2 提升樹 302
13.2.3 代碼實現 306
13.3 總結 307
參考資料 307
第14章 極度梯度提升 309
引言 310
14.1 基礎知識 311
14.1.1 樹的重定義 311
14.1.2 樹的復雜度 313
14.2 模型介紹 313
14.2.1 XGB 簡介 313
14.2.2 XGB 的泛化度 314
14.2.3 XGB 的精確度 315
14.2.4 XGB 的速度 318
14.2.5 代碼實現 324
14.3 總結 325
參考資料 326
第15章 本書總結 327
15.1 正交策略 328
15.2 單值評估指標 330
15.3 偏差和方差 332
15.3.1 理論定義 332
15.3.2 實用定義 334
15.3.3 最優誤差 335
15.3.4 兩者權衡 336
15.3.5 學習曲線 336
結語 339