本書(shū)是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域的經(jīng)典暢銷教材，被國(guó)內(nèi)外眾多名校選用。第4版新增了關(guān)于深度學(xué)習(xí)和概率方法的重要章節(jié)，同時(shí)，備受歡迎的機(jī)器學(xué)習(xí)軟件Weka也再度升級(jí)。書(shū)中全面覆蓋了該領(lǐng)域的實(shí)用技術(shù)，致力于幫助讀者理解不同技術(shù)的工作方式和應(yīng)用方式，從而學(xué)會(huì)在工程實(shí)踐和商業(yè)項(xiàng)目中解決真實(shí)問(wèn)題。本書(shū)適合作為高等院校相關(guān)課程的教材，同時(shí)也適合業(yè)內(nèi)技術(shù)人員閱讀參考。
前 言
Data Mining: Practical Machine Learning Tools and Techniques, Fourth Edition
計(jì)算和通信的結(jié)合建立了一個(gè)以信息為基礎(chǔ)的新領(lǐng)域。但絕大多數(shù)信息尚處于原始狀態(tài)，即以數(shù)據(jù)形式存在的狀態(tài)。假如我們將數(shù)據(jù)定義為被記錄下來(lái)的事實(shí)，那么“信息”就是隱藏于這些記錄事實(shí)的數(shù)據(jù)中的一系列模式或預(yù)期。在數(shù)據(jù)庫(kù)中蘊(yùn)藏了大量具有潛在重要性的信息，這些信息尚未被發(fā)現(xiàn)和利用，我們的任務(wù)就是將這些信息釋放出來(lái)。
數(shù)據(jù)挖掘是將隱含的、尚不為人知的同時(shí)又是潛在有用的信息從數(shù)據(jù)中提取出來(lái)。為此我們編寫(xiě)計(jì)算機(jī)程序，自動(dòng)在數(shù)據(jù)庫(kù)中篩選有用的規(guī)律或模式。如果能發(fā)現(xiàn)一些明顯的模式，則可以將其歸納出來(lái)，以對(duì)未來(lái)的數(shù)據(jù)進(jìn)行準(zhǔn)確預(yù)測(cè)。當(dāng)然，數(shù)據(jù)挖掘結(jié)果中肯定會(huì)出現(xiàn)一些問(wèn)題，比如許多模式可能是價(jià)值不大的或者沒(méi)有實(shí)際意義的，還有一些可能是虛假的，或者是由于某些具體數(shù)據(jù)集的巧合而產(chǎn)生的。在現(xiàn)實(shí)世界中，數(shù)據(jù)是不完美的：有些被人為篡改，有些會(huì)丟失。我們觀察到的所有東西都不是完全精確的：任何規(guī)律都有例外，并且總會(huì)出現(xiàn)不符合任何一個(gè)規(guī)律的實(shí)例。算法必須具有足夠的健壯性以應(yīng)付不完美的數(shù)據(jù)，并能提取出不精確但有用的規(guī)律。
機(jī)器學(xué)習(xí)為數(shù)據(jù)挖掘提供了技術(shù)基礎(chǔ)，能夠?qū)⑿畔臄?shù)據(jù)庫(kù)的原始數(shù)據(jù)中提取出來(lái)，以可以理解的形式表達(dá)，并可用于多種用途。這是一種抽象化過(guò)程：如實(shí)地全盤(pán)接收現(xiàn)有數(shù)據(jù)，然后在此基礎(chǔ)上推導(dǎo)出所有隱藏在這些數(shù)據(jù)中的結(jié)構(gòu)。本書(shū)將介紹在數(shù)據(jù)挖掘?qū)嵺`中為了發(fā)現(xiàn)和描述數(shù)據(jù)中的結(jié)構(gòu)模式而采用的機(jī)器學(xué)習(xí)工具與技術(shù)。
就像所有新興技術(shù)都會(huì)受到商界的強(qiáng)烈關(guān)注一樣，關(guān)于數(shù)據(jù)挖掘應(yīng)用的報(bào)道可謂是鋪天蓋地。夸張的報(bào)道宣稱通過(guò)設(shè)立學(xué)習(xí)算法就能從浩瀚的數(shù)據(jù)汪洋中發(fā)現(xiàn)那些神秘的規(guī)律，其實(shí)機(jī)器學(xué)習(xí)絕沒(méi)有什么魔法，也沒(méi)有什么隱藏的力量，更沒(méi)有什么巫術(shù)，有的只是一些能將有用信息從原始數(shù)據(jù)中提取出來(lái)的簡(jiǎn)單和實(shí)用的技術(shù)。本書(shū)將介紹這些技術(shù)，并展示它們是如何工作的。
在許多應(yīng)用中，機(jī)器學(xué)習(xí)使得從數(shù)據(jù)樣本中獲取結(jié)構(gòu)描述成為可能。這種結(jié)構(gòu)描述可用于預(yù)測(cè)、解釋和理解。有些數(shù)據(jù)挖掘應(yīng)用側(cè)重于預(yù)測(cè)，即從數(shù)據(jù)所描述的過(guò)去預(yù)測(cè)將來(lái)在新情況下會(huì)發(fā)生什么，通常是預(yù)測(cè)新的樣本分類。但也許人們更感興趣的是，“學(xué)習(xí)”的結(jié)果是一個(gè)可以用來(lái)對(duì)樣本進(jìn)行分類的真實(shí)結(jié)構(gòu)描述。這種結(jié)構(gòu)描述不僅支持預(yù)測(cè)，也支持解釋和理解。根據(jù)經(jīng)驗(yàn)，在絕大多數(shù)數(shù)據(jù)挖掘?qū)嵺`應(yīng)用中，用戶感興趣的莫過(guò)于掌握樣本的本質(zhì)。事實(shí)上，這是機(jī)器學(xué)習(xí)優(yōu)于傳統(tǒng)統(tǒng)計(jì)模型的一個(gè)主要優(yōu)點(diǎn)。
本書(shū)詮釋了多種多樣的機(jī)器學(xué)習(xí)方法。其中部分出于方便教學(xué)的目的而僅僅羅列了一些簡(jiǎn)單方案，以清楚解釋基本思想如何實(shí)現(xiàn)。其他則更多考慮到具體實(shí)現(xiàn)而列舉了很多應(yīng)用于實(shí)際工作中的真實(shí)系統(tǒng)。在這些方法中，有很多都是近幾年發(fā)展起來(lái)的。
我們創(chuàng)建了一套綜合軟件以說(shuō)明書(shū)中的思想。軟件名稱是懷卡托智能分析環(huán)境（Waikato
Environment for Knowledge Analysis），簡(jiǎn)稱Weka，它的Java源代碼參見(jiàn)www.cs.waikato.ac.nz/ml/weka。Weka幾乎可以完整地、產(chǎn)業(yè)化地實(shí)現(xiàn)本書(shū)中所包含的所有技術(shù)。它包括了機(jī)器學(xué)習(xí)方法的說(shuō)明性代碼以及具體實(shí)現(xiàn)。針對(duì)一些簡(jiǎn)單技術(shù)，它提供了清楚而簡(jiǎn)潔的實(shí)例，以幫助理解機(jī)器學(xué)習(xí)中的相關(guān)機(jī)理。Weka還提供了一個(gè)工作平臺(tái)，完整、實(shí)用、高水準(zhǔn)地實(shí)現(xiàn)了很多流行的學(xué)習(xí)方案，這些方案能夠運(yùn)用于實(shí)際的數(shù)據(jù)挖掘項(xiàng)目或?qū)W術(shù)研究。最后，它還包括了一個(gè)形如Java類庫(kù)的框架，這個(gè)框架支持嵌入式機(jī)器學(xué)習(xí)的應(yīng)用乃至新學(xué)習(xí)方案的實(shí)現(xiàn)。
本書(shū)旨在介紹用于數(shù)據(jù)挖掘領(lǐng)域的機(jī)器學(xué)習(xí)工具和技術(shù)。讀完本書(shū)后，你將對(duì)這些技術(shù)有所了解，并能體會(huì)到它們的功效和實(shí)用價(jià)值。如果你希望用自己的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，用Weka就能輕松做到。但Weka絕不是唯一的選擇，例如，免費(fèi)統(tǒng)計(jì)計(jì)算環(huán)境R就包含許多機(jī)器學(xué)習(xí)算法。Python編程語(yǔ)言的愛(ài)好者可能更喜歡流行的scikit-learn庫(kù)。用于分布式計(jì)算的現(xiàn)代“大數(shù)據(jù)”框架也支持機(jī)器學(xué)習(xí)，如Apache Spark。在實(shí)際應(yīng)用中，部署機(jī)器學(xué)習(xí)的選擇有很多。本書(shū)僅討論基本的學(xué)習(xí)算法，沒(méi)有深入研究特定軟件的實(shí)現(xiàn)細(xì)節(jié)，但會(huì)在恰當(dāng)?shù)奈恢弥赋鏊懻摰乃惴ǹ梢栽赪eka軟件的什么位置找到。本書(shū)還簡(jiǎn)要介紹了其他機(jī)器學(xué)習(xí)軟件，如用于高維數(shù)據(jù)的“深度學(xué)習(xí)”。不過(guò)，大多數(shù)具體軟件的信息被歸納到了附錄中。
提供數(shù)據(jù)挖掘案例研究的商業(yè)書(shū)籍中往往涉及一些非常實(shí)用的方法，這些方法與當(dāng)前機(jī)器學(xué)習(xí)教材中出現(xiàn)的更理論化、更原則化的方法之間存在鴻溝，本書(shū)跨越了這個(gè)鴻溝。這個(gè)鴻溝相當(dāng)大，為了讓機(jī)器學(xué)習(xí)技術(shù)應(yīng)用得到成果，需要理解它們是如何工作的。這不是一種可以盲目應(yīng)用而后便期待好結(jié)果出現(xiàn)的技術(shù)。不同的問(wèn)題需要用不同的技術(shù)解決，但是根據(jù)實(shí)際問(wèn)題來(lái)選擇合適的技術(shù)并非易事，你需要知道到底有多少種可能的解決方案。本書(shū)所論及的技術(shù)范圍相當(dāng)廣泛，并不囿于某種特定的商業(yè)軟件或方案。書(shū)中給出了大量實(shí)例，但是展示實(shí)例所采用的數(shù)據(jù)集卻小得足以讓你搞清楚實(shí)例的整個(gè)過(guò)程。真實(shí)的數(shù)據(jù)集太大，不能做到這一點(diǎn)（而且真實(shí)數(shù)據(jù)集的獲取常受限于商業(yè)機(jī)密）。本書(shū)所選擇的
目 錄
Data Mining: Practical Machine Learning Tools and Techniques, Fourth Edition
譯者序
前言
致謝
第一部分 數(shù)據(jù)挖掘基礎(chǔ)
第1章 緒論 2
1.1 數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí) 2
1.1.1 描述結(jié)構(gòu)模式 3
1.1.2 機(jī)器學(xué)習(xí) 5
1.1.3 數(shù)據(jù)挖掘 6
1.2 簡(jiǎn)單的例子：天氣問(wèn)題和其他問(wèn)題 6
1.2.1 天氣問(wèn)題 6
1.2.2 隱形眼鏡：一個(gè)理想化的問(wèn)題 8
1.2.3 鳶尾花：一個(gè)經(jīng)典的數(shù)值型數(shù)據(jù)集 9
1.2.4 CPU性能：引入數(shù)值預(yù)測(cè) 10
1.2.5 勞資協(xié)商：一個(gè)更真實(shí)的例子 11
1.2.6 大豆分類：一個(gè)經(jīng)典的機(jī)器學(xué)習(xí)的成功例子 12
1.3 應(yīng)用領(lǐng)域 14
1.3.1 Web挖掘 14
1.3.2 包含判斷的決策 15
1.3.3 圖像篩選 15
1.3.4 負(fù)載預(yù)測(cè) 16
1.3.5 診斷 17
1.3.6 市場(chǎng)和銷售 17
1.3.7 其他應(yīng)用 18
1.4 數(shù)據(jù)挖掘過(guò)程 19
1.5 機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué) 20
1.6 將泛化看作搜索 21
1.6.1 枚舉概念空間 22
1.6.2 偏差 22
1.7 數(shù)據(jù)挖掘和道德問(wèn)題 24
1.7.1 再識(shí)別 24
1.7.2 使用個(gè)人信息 25
1.7.3 其他問(wèn)題 26
1.8 拓展閱讀及參考文獻(xiàn) 26
第2章 輸入：概念、實(shí)例和屬性 29
2.1 概念 29
2.2 實(shí)例 31
2.2.1 關(guān)系 31
2.2.2 其他實(shí)例類型 34
2.3 屬性 35
2.4 輸入準(zhǔn)備 36
2.4.1 數(shù)據(jù)收集 37
2.4.2 ARFF格式 37
2.4.3 稀疏數(shù)據(jù) 39
2.4.4 屬性類型 40
2.4.5 缺失值 41
2.4.6 不正確的值 42
2.4.7 非均衡數(shù)據(jù) 42
2.4.8 了解數(shù)據(jù) 43
2.5 拓展閱讀及參考文獻(xiàn) 43
第3章 輸出：知識(shí)表達(dá) 44
3.1 表 44
3.2 線性模型 44
3.3 樹(shù) 46
3.4 規(guī)則 49
3.4.1 分類規(guī)則 49
3.4.2 關(guān)聯(lián)規(guī)則 52
3.4.3 包含例外的規(guī)則 53
3.4.4 表達(dá)能力更強(qiáng)的規(guī)則 54
3.5 基于實(shí)例的表達(dá) 56
3.6 聚類 58
3.7 拓展閱讀及參考文獻(xiàn) 59
第4章 算法：基本方法 60
4.1 推斷基本規(guī)則 60
4.2 簡(jiǎn)單概率模型 63
4.2.1 缺失值和數(shù)值屬性 65
4.2.2 用于文檔分類的樸素貝葉斯 67
4.2.3 討論 68
4.3 分治法：創(chuàng)建決策樹(shù) 69
4.3.1 計(jì)算信息量 71
4.3.2 高度分支屬性 73
4.4 覆蓋算法：建立規(guī)則 74
4.4.1 規(guī)則與樹(shù) 75
4.4.2 一個(gè)簡(jiǎn)單的覆蓋算法 76
4.4.3 規(guī)則與決策列表 79
4.5 關(guān)聯(lián)規(guī)則挖掘 79
4.5.1 項(xiàng)集 80
4.5.2 關(guān)聯(lián)規(guī)則 81
4.5.3 高效地生成規(guī)則 84
4.6 線性模型 86
4.6.1 數(shù)值預(yù)測(cè)：線性回歸 86
4.6.2 線性分類：logistic回歸 87
4.6.3 使用感知機(jī)的線性分類 89
4.6.4 使用Winnow的線性分類 90
4.7 基于實(shí)例的學(xué)習(xí) 91
4.7.1 距離函數(shù) 92
4.7.2 高效尋找最近鄰 92
4.7.3 討論 96
4.8 聚類 96
4.8.1 基于距離的迭代聚類 97
4.8.2 更快的距離計(jì)算 98
4.8.3 選擇簇的個(gè)數(shù) 99
4.8.4 層次聚類 100
4.8.5 層次聚類示例 101
4.8.6 增量聚類 102
4.8.7 分類效用 104
4.8.8 討論 106
4.9 多實(shí)例學(xué)習(xí) 107
4.9.1 聚集輸入 107
4.9.2 聚集輸出 107
4.10 拓展閱讀及參考文獻(xiàn) 108
4.11 Weka實(shí)現(xiàn) 109
第5章 可信度：評(píng)估學(xué)習(xí)結(jié)果 111
5.1 訓(xùn)練和測(cè)試 111
5.2 預(yù)測(cè)性能 113
5.3 交叉驗(yàn)證 115
5.4 其他評(píng)估方法 116
5.4.1 留一交叉驗(yàn)證法 116
5.4.2 自助法 116
5.5 超參數(shù)選擇 117
5.6 數(shù)據(jù)挖掘方法比較 118
5.7 預(yù)測(cè)概率 121
5.7.1 二次損失函數(shù) 121
5.7.2 信息損失函數(shù) 122
5.7.3 討論 123
5.8 計(jì)算成本 123
5.8.1 成本敏感分類 125
5.8.2 成本敏感學(xué)習(xí) 126
5.8.3 提升圖 126
5.8.4 ROC曲線 129
5.8.5 召回率–精確率曲線 130
5.8.6 討論 131
5.8.7 成本曲線 132
5.9 評(píng)估數(shù)值預(yù)測(cè) 134
5.10 最小描述長(zhǎng)度原理 136
5.11 將MDL原理應(yīng)用于聚類 138
5.12 使用驗(yàn)證集進(jìn)行模型選擇 138
5.13 拓展閱讀及參考文獻(xiàn) 139
第二部分 高級(jí)機(jī)器學(xué)習(xí)方案
第6章 樹(shù)和規(guī)則 144
6.1 決策樹(shù) 144
6.1.1 數(shù)值屬性 144
6.1.2 缺失值 145
6.1.3 剪枝 146
6.1.4 估計(jì)誤差率 147
6.1.5 決策樹(shù)歸納法的復(fù)雜度 149
6.1.6 從決策樹(shù)到規(guī)則 150
6.1.7 C4.5：選擇和選項(xiàng) 150
6.1.8 成本–復(fù)雜度剪枝 151
6.1.9 討論 151
6.2 分類規(guī)則 152
6.2.1 選擇測(cè)試的標(biāo)準(zhǔn) 152
6.2.2 缺失值和數(shù)值屬性 153
6.2.3 生成好的規(guī)則 153
6.2.4 使用全局優(yōu)化 155
6.2.5 從局部決策樹(shù)中獲得規(guī)則 157
6.2.6 包含例外的規(guī)則 158
6.2.7 討論 160
6.3 關(guān)聯(lián)規(guī)則 161
6.3.1 建立頻繁模式樹(shù) 161
6.3.2 尋找大項(xiàng)集 163
6.3.3 討論 166
6.4 Weka 實(shí)現(xiàn) 167
第7章 基于實(shí)例的學(xué)習(xí)和線性模型的擴(kuò)展 168
7.1 基于實(shí)例的學(xué)習(xí) 168
7.1.1 減少樣本集的數(shù)量 168
7.1.2 對(duì)噪聲樣本集剪枝 169
7.1.3 屬性加權(quán) 170
7.1.4 泛化樣本集 170
7.1.5 用于泛化樣本集的距離函數(shù) 171
7.1.6 泛化的距離函數(shù) 172
7.1.7 討論 172
7.2 擴(kuò)展線性模型 173
7.2.1 最大間隔超平面 173
7.2.2 非線性類邊界
新書(shū)資訊