本書對機器學習的關鍵知識點進行了全面講解，幫助讀者順利完成從理論到實踐的過渡。書中首先介紹用于描述機器學習算法的統計與概率的知識，接著詳細分析機器學習技術的兩類主要方法——生成方法和判別方法，后深入研究了如何使機器學習算法在實際應用中發揮更大的作用。本書提供程序源代碼，便于讀者進行數據分析實踐。本書適合高等院校計算機、統計等專業的研究生和高年級本科生閱讀，同時也適合相關領域的技術人員參考。
前言機器學習是計算機領域的一個學科，旨在研究原理、算法以及能夠像人類一樣學習的系統的應用。近年來，計算機和傳感器的發展使得我們能夠訪問不同領域的海量數據（如文本、音頻、圖片、電影、電子商務、電氣、醫學和生物學等）。在此類大數據的分析和利用方面，機器學習起到了核心的作用。
本書致力于討論機器學習的數學背景及多種機器學習技術的實用化算法。目標讀者定位于計算機和相關專業的本科生和研究生。在工作中應用機器學習技術的工程師和分析數據的科學家也會從本書中獲益。
本書特色在于每章的主題簡明扼要，給出具體機器學習技術的數學推導并附以簡潔的MATLAB程序。由此，讀者在學習數學概念的同時，可掌握多種機器學習技術的實用價值。全部MATLAB程序可以從如下網址獲得：
本書第一部分給出機器學習領域的簡要概述。緊接著，第二部分介紹了概率和統計的基本概念，它們構成了統計機器學習的數學基礎。第二部分的成文基于：
第三部分和第四部分分別在生成和判別框架下，介紹了一系列實用機器學習算法。隨后， 第五部分介紹高級論題，進而處理更具挑戰的機器學習任務。第三部分的成文基于：
第四部分和第五部分的成文基于：
在此感謝東京大學和東京工業大學相關研究組的研究員和學生針對本書早期手稿給出的有價值的反饋。
杉山將東京大學
【加照片】Masashi Sugiyama，東京大學教授，擁有東京工業大學計算機科學博士學位，研究興趣包括機器學習與數據挖掘的理論、算法和應用，涉及信號處理、圖像處理、機器人控制等。2007年獲得IBM學者獎，以表彰其在機器學習領域非平穩性方面做出的貢獻。2011年獲得日本信息處理協會頒發的Nagao特別研究獎，以及日本文部科學省頒發的青年科學家獎，以表彰其對機器學習密度比范型的貢獻。
目錄
譯者序
前言
作者簡介
第一部分緒論
第1章統計機器學習
1.1學習的類型
1.2機器學習任務舉例
1.2.1監督學習
1.2.2非監督學習
1.2.3進一步的主題
1.3本書結構
第二部分概率與統計
第2章隨機變量與概率分布
2.1數學基礎
2.2概率
2.3隨機變量和概率分布
2.4概率分布的性質
2.4.1期望、中位數和眾數
2.4.2方差和標準差
2.4.3偏度、峰度和矩
2.5隨便變量的變換
第3章離散概率分布的實例
3.1離散均勻分布
3.2二項分布
3.3超幾何分布
3.4泊松分布
3.5負二項分布
3.6幾何分布
第4章連續概率分布的實例
4.1連續均勻分布
4.2正態分布
4.3伽馬分布、指數分布和卡方分布
4.4Beta分布
4.5柯西分布和拉普拉斯分布
4.6t分布和F分布
第5章多維概率分布
5.1聯合概率分布
5.2條件概率分布
5.3列聯表
5.4貝葉斯定理
5.5協方差與相關性
5.6獨立性
第6章多維概率分布的實例
6.1多項分布
6.2多元正態分布
6.3狄利克雷分布
6.4威沙特分布
第7章獨立隨機變量之和
7.1卷積
7.2再生性
7.3大數定律
7.4中心極限定理
第8章概率不等式
8.1聯合界
8.2概率不等式
8.2.1馬爾可夫不等式和切爾諾夫不等式
8.2.2坎泰利不等式和切比雪夫不等式
8.3期望不等式
8.3.1琴生不等式
8.3.2赫爾德不等式和施瓦茨不等式
8.3.3閔可夫斯基不等式
8.3.4康托洛維奇不等式
8.4獨立隨機變量和的不等式
8.4.1切比雪夫不等式和切爾諾夫不等式
8.4.2霍夫丁不等式和伯恩斯坦不等式
8.4.3貝內特不等式
第9章統計估計
9.1統計估計基礎
9.2點估計
9.2.1參數密度估計
9.2.2非參數密度估計
9.2.3回歸和分類
9.2.4模型選擇
9.3區間估計
9.3.1基于正態樣本期望的區間估計
9.3.2bootstrap置信區間
9.3.3貝葉斯置信區間
第10章假設檢驗
10.1假設檢驗基礎
10.2正態樣本期望的檢驗
10.3尼曼皮爾森引理
10.4列聯表檢驗
10.5正態樣本期望差值檢驗
10.5.1無對應關系的兩組樣本
10.5.2有對應關系的兩組樣本
10.6秩的無參檢驗
10.6.1無對應關系的兩組樣本
10.6.2有對應關系的兩組樣本
10.7蒙特卡羅檢驗
第三部分統計模式識別的生成式方法
第11章通過生成模型估計的模式識別
11.1模式識別的公式化
11.2統計模式識別
11.3分類器訓練的準則
11.3.1最大后驗概率規則
11.3.2最小錯誤分類率準則
11.3.3貝葉斯決策規則
11.3.4討論
11.4生成式方法和判別式方法
第12章極大似然估計
12.1定義
12.2高斯模型
12.3類后驗概率的計算
12.4Fisher線性判別分析
12.5手寫數字識別
12.5.1預備知識
12.5.2線性判別分析的實現
12.5.3多分類器方法
第13章極大似然估計的性質
13.1一致性
13.2漸近無偏性
13.3漸近有效性
13.3.1一維的情況
13.3.2多維的情況
13.4漸近正態性
13.5總結
第14章極大似然估計的模型選擇
14.1模型選擇
14.2KL散度
14.3AIC信息論準則
14.4交叉檢驗
14.5討論
第15章高斯混合模型的極大似然估計
15.1高斯混合模型
15.2極大似然估計
15.3梯度上升算法
15.4EM算法
第16章非參數估計
16.1直方圖方法
16.2問題描述
16.3核密度估計
16.3.1Parzen 窗法
16.3.2利用核的平滑
16.3.3帶寬的選擇
16.4最近鄰密度估計
16.4.1最近鄰距離
16.4.2最近鄰分類器
第17章貝葉斯推理
17.1貝葉斯預測分布
17.1.1定義
17.1.2與極大似然估計的比較
17.1.3計算問題
17.2共軛先驗
17.3最大后驗估計
17.4貝葉斯模型選擇
第18章邊緣相似的解析近似
18.1拉普拉斯近似
18.1.1高斯密度估計
18.1.2例證
18.1.3應用于邊際似然逼近
18.1.4貝葉斯信息準則
18.2變分近似
18.2.1變分貝葉斯最大期望算法
18.2.2與一般最大期望法的關系
第19章預測分布的數值近似
19.1蒙特卡羅積分
19.2重要性采樣
19.3采樣算法
19.3.1逆變換采樣
19.3.2拒絕采樣
19.3.3馬爾可夫鏈蒙特卡羅方法
第20章貝葉斯混合模型
20.1高斯混合模型
20.1.1貝葉斯公式化
20.1.2變分推斷
20.1.3吉布斯采樣
20.2隱狄利克雷分配模型
20.2.1主題模型
20.2.2貝葉斯公式化
20.2.3吉布斯采樣
第四部分統計機器學習的判別式方法
第21章學習模型
21.1線性參數模型
21.2核模型
21.3層次模型
第22章最小二乘回歸
22.1最小二乘法
22.2線性參數模型的解決方案
22.3最小二乘法的特性
22.4大規模數據的學習算法
22.5層次模型的學習算法
第23章具有約束的最小二乘回歸
23.1子空間約束的最小二乘
23.22約束的最小二乘
23.3模型選擇
第24章稀疏回歸
24.11約束的最小二乘
24.2解決1約束的最小二乘
24.3稀疏學習的特征選擇
24.4若干擴展
24.4.1廣義1約束最小二乘
24.4.2p約束最小二乘
24.4.31+2約束最小二乘
24.4.41,2約束最小二乘
24.4.5跡范數約束最小二乘
第25章穩健回歸
25.12損失最小化的非穩健性
25.21損失最小化
25.3Huber損失最小化
25.3.1定義
25.3.2隨機梯度算法
25.3.3迭代加權最小二乘
25.3.41約束Huber損失最小化
25.4Tukey 損失最小化
第26章最小二乘分類器
26.1基于最小二乘回歸的分類器
26.20/1損失和間隔
2
新書資訊