本書為了解機器學習提供了一種獨特的途徑。書中包含了新穎、直觀而又嚴謹的基本概念描述,它們是研究課題、制造產品、修補漏洞以及實踐不可或缺的部分。本書按照幾何直覺、算法思想和實際應用(縱貫計算機視覺、自然語言處理、經濟學、神經科學、推薦系統、物理學和生物學等學科)的順序,為讀者提供了深入淺出的基礎知識和解決實際問題所需的實用工具。本書還包含了基于Python和MATLAB/OCTAVE語言的深入習題,以及對數值優化前沿技術的全面講解。本書可為機器學習、計算機科學、電子工程、信號處理以及數值優化等領域的學生提供重要的學習資源,也可為這些領域的研究人員和從業者提供理想的參考資料。
譯者序
前言
第1章引言
12預測學習問題
121回歸
122分類
13特征設計
14數值優化
15小結
第一部分基本工具及概念
第2章數值優化基礎
21微積分定義的優性
211泰勒級數逼近
212優性的一階條件
213凸性的便利
22優化數值方法
221概覽
222停止條件
223梯度下降
224牛頓法
23小結
24習題
第3章回歸
31線性回歸基礎
311符號和建模
312用于線性回歸的小二乘代價函數
313小二乘代價函數的小化
314所學模型的效力
315預測新輸入數據的值
32知識驅動的回歸特征設計
33非線性回歸和l2正則化
331邏輯回歸
332非凸代價函數和l2正則化
34小結
35習題
第4章分類
41感知機代價函數
411基本感知機模型
412softmax代價函數
413間隔感知機
414間隔感知機的可微近似
415所學分類器的精度
416預測新輸入數據的標簽
417哪個代價函數會產生好的結果
418感知機和計數代價的關聯
42邏輯回歸視角下的softmax代價
421階梯函數和分類
422凸邏輯回歸
43支持向量機視角下的間隔感知機
431尋找大間隔超平面
432硬間隔支持向量機問題
433軟間隔支持向量機問題
434支持向量機和邏輯回歸
44多分類
441一對多的多分類
442多分類softmax分類
443所學多分類器的精度
444哪種多分類方法表現好
45面向分類的知識驅動特征設計
46面向真實數據類型的直方圖特征
461文本數據的直方圖特征
462圖像數據的直方圖特征
463音頻數據的直方圖特征
47小結
48習題
第二部分完全數據驅動的機器學習工具
第5章回歸的自動特征設計
51理想回歸場景中的自動特征設計
511向量逼近
512從向量到連續函數
513連續函數逼近
514連續函數逼近的常見基
515獲取權重
516神經網絡的圖表示
52真實回歸場景中的自動特征設計
521離散化的連續函數逼近
522真實回歸場景
53回歸交叉驗證
531診斷過擬合與欠擬合問題
532留出交叉驗證
533留出交叉驗證的計算
534k折交叉驗證
54哪個基好
541理解數據背后的現象
542實踐方面的考慮
543什么時候可任意選擇基
55小結
56習題
57關于連續函數逼近的注釋
第6章分類中的自動特征設計
61理想分類場景中的自動特征設計
611分段連續函數逼近
612指示函數的形式化定義
613指示函數逼近
614獲取權重
62真實分類場景中的自動特征設計
621離散化的指示函數逼近
622真實的分類場景
623分類器精度和邊界定義
63多分類
631一對多的多分類
632多分類softmax分類
64分類交叉驗證
641留出交叉驗證
642留出交叉驗證的計算
643k折交叉驗證
644一對多多分類的k折交叉驗證
65哪個基好
66小結
67習題
第7章核、反向傳播和正則化交叉驗證
71固定特征核
711線性代數基本定理
712核化代價函數
713核化的價值
714核的例子
715核作為相似矩陣
72反向傳播算法
721計算兩層網絡代價函數的梯度
722計算三層神經網絡的梯度
723動量梯度下降
73l2正則化交叉驗證
731l2正則化和交叉驗證
732回歸的k折正則化交叉驗證
733分類的正則化交叉驗證
74小結
75更多的核計算
751核化不同的代價函數
752傅里葉核標量輸入
753傅里葉核向量輸入
第三部分大規模數據機器學習方法
第8章高級梯度算法
81梯度下降法的固定步長規則
811梯度下降法和簡單的二次代理
812有界曲率函數和優保守步長規則
813如何使用保守固定步長規則
82梯度下降的自適應步長規則
821回溯線性搜索的自適應步長規則
822如何使用自適應步長規則
83隨機梯度下降
831梯度分解
832隨機梯度下降迭代
833隨機梯度下降的價值
834隨機梯度下降的步長規則
835在實踐中如何使用隨機梯度下降法
84梯度下降方案的收斂性證明
841利普希茨常數固定步長梯度下降的收斂性
842回溯線性搜索梯度下降的收斂性
843隨機梯度法的收斂性
844面向凸函數的固定步長梯度下降的收斂速度
85計算利普希茨常數
86小結
87習題
第9章降維技術
91數據的降維技術
911隨機子采樣
912K均值聚類
913K均值問題的優化
92主成分分析
93推薦系統
931矩陣填充模型
932矩陣填充模型的優化
94小結
95習題
第四部分附錄
附錄A基本的向量和矩陣運算
附錄B向量微積分基礎
附錄C基本的矩陣分解及偽逆
附錄D凸幾何
參考文獻
索引