本書重點講述統計數據分析方法和數據挖掘技術，在大數據時代和人工智能時代，數據驅動的知識抽取技術成為一項重要學習和研究內容。本書采用理論和舉例相結合的方式進行數據分析和數據挖掘知識講解，并配套《數據分析與數據挖掘建模工具》一書，便于理論和實踐相結合。書中內容包括統計檢驗、方差分析、回歸分析、關聯分析、分類模型、聚類模型、離群點分析等典型的數據分析和數據挖掘方法。
姜維，男，副教授，1978年出生，漢族，博士，博士后、哈爾濱工業大學管理科學與工程系，碩士生導師。2007年哈爾濱工業大學計算機學院博士畢業，2010年哈爾濱工業大學管理科學與工程博士后。作為第1編著者出版著作5部。作為第一、第二作者發表論文50余篇。在計算機學報、自動化學報、電子學報、高技術通訊、計算機集成制造、系統工程理論與實踐、系統工程與電子技術、國防科技大學學報、控制與決策等都有文章發表。發表3篇SCI國際期刊文章，20余篇EI期刊文章。目前作為負責人共完成或承擔國家自然科學基金3項，已完成某軍口預研基金項目，教育部博士點基金、中國博士后科學基金、中央高校基本科研專項項目，哈爾濱工業大學青年教改項目。作為第2負責人完成多項軍口項目：總裝備部軍口重點預研項目，某預研基金項目，某軍口重大專項項目，載人航天工程某項目。
目 錄
第1章 數據分析與數據挖掘基礎 1
1.1 數據分析與數據挖掘需求 1
1.1.1 數據分析與數據挖掘 1
1.1.2 大數據處理需求 2
1.1.3 數據分析誤區與隱私問題 3
1.2 數據分析與數據挖掘的工作過程 3
1.2.1 數據分析的主要工作過程 3
1.2.2 數據收集 5
1.2.3 數據展示 6
1.3 數據的組織和數據的類型 7
1.3.1 數據的一般組織形式 7
1.3.2 數據類型 8
1.3.3 分類數據的編碼 9
1.4 數據的常用描述性統計量 11
1.4.1 數據的中心趨勢 11
1.4.2 數據的離散程度 12
1.4.3 數據的形態統計量 15
1.5 數據的基本描述性統計分析 18
1.5.1 數據的描述性統計 18
1.5.2 五數概括與盒圖 19
1.5.3 數據的描述性統計圖 20
1.6 本章小結 22
本章概念與關鍵詞 22
練習與思考 23
第2章 數據抽樣與推斷檢驗 24
2.1 隨機變量概率分布 24
2.1.1 概率分布 24
2.1.2 正態分布 26
2.1.3 二項分布與泊松分布 28
2.1.4 幾何分布與超幾何分布 29
2.2 抽樣統計分析 31
2.2.1 抽樣的相關概念 31
2.2.2 概率抽樣的典型方法 33
2.2.3 非隨機抽樣的典型方法 34
2.3 基本抽樣分布 34
2.3.1 經驗分布、理論分布與抽樣分布 34
2.3.2 三大抽樣分布 36
2.3.3 小概率事件 38
2.4 常用的抽樣分布與區間估計 40
2.4.1 常用的統計量抽樣分布 40
2.4.2 置信區間與區間估計 42
2.5 常用的參數檢驗 45
2.5.1 假設檢驗一般過程 45
2.5.2 常用的參數檢驗統計量 47
2.6 常用的單樣本非參數檢驗 48
2.6.1 卡方檢驗 48
2.6.2 二項分布檢驗 49
2.6.3 固定參數的超幾何分布檢驗 49
2.6.4 游程檢驗 50
2.6.5 單樣本K-S檢驗 54
2.7 本章小結 56
本章概念與關鍵詞 57
練習與思考 57
第3章 可視化圖與分組檢驗 59
3.1 數據的常用可視化圖分析 59
3.1.1 數據的常用可視化圖 59
3.1.2 基于圖的可視化觀測一般過程 62
3.2 均值比較和t檢驗 62
3.2.1 分組統計 62
3.2.2 數據標準化與Z-Score 63
3.2.3 單樣本t檢驗 64
3.2.4 兩獨立樣本t檢驗 65
3.2.5 兩配對樣本t檢驗 67
3.3 方差齊性檢驗 68
3.3.1 Levene方差齊性檢驗 68
3.3.2 基于F檢驗的方差齊性檢驗 69
3.3.3 Brown-Forsythe方差齊性檢驗 70
3.3.4 Bartlett’s方差齊性檢驗 70
3.4 兩獨立樣本的非參數檢驗 71
3.4.1 Mann-Whitney U檢驗 71
3.4.2 兩獨立樣本K-S檢驗 74
3.4.3 兩獨立樣本游程檢驗 76
3.4.4 兩獨立樣本Moses極端反應檢驗 77
3.4.5 兩獨立樣本Brown-Mood中位數
檢驗 78
3.5 兩配對樣本的非參數檢驗 81
3.5.1 兩配對樣本符號檢驗 81
3.5.2 中位數、分位數及比例的符號
檢驗 82
3.5.3 兩配對樣本Wilcoxon符號秩
檢驗 83
3.5.4 Wilcoxon符號秩單樣本檢驗 85
3.5.5 兩配對樣本McNemar檢驗 86
3.5.6 邊緣齊性檢驗 88
3.6 多樣本的非參數檢驗 88
3.6.1 多獨立樣本中位數檢驗 88
3.6.2 多獨立樣本Kruskal-Wallis檢驗 90
3.6.3 多獨立樣本Jonckheere-Terpstra
檢驗 91
3.6.4 多配對樣本Friedman檢驗 94
3.6.5 多配對樣本Kendall協同系數
檢驗 96
3.6.6 多配對樣本Cochran’s Q檢驗 97
3.7 本章小結 98
本章概念與關鍵詞 99
練習與思考 99
第4章 方差分析與相關性分析 102
4.1 方差分析 102
4.1.1 方差分析中的變量 102
4.1.2 單因素方差分析 103
4.1.3 單因素方差Brown-Forsythe
檢驗 105
4.1.4 單因素方差Welch’s t檢驗 106
4.1.5 無交互作用的雙因素方差分析 107
4.1.6 有交互作用的雙因素方差分析 109
4.2 Post Hoc檢驗 111
4.2.1 LSD檢驗 111
4.2.2 Studentized極差分布 112
4.2.3 Tukey’s Range檢驗 113
4.2.4 Tukey-Kramer檢驗 115
4.2.5 SNK檢驗 117
4.2.6 其他幾種常用檢驗方法 118
4.3 連續屬性數據的相關性分析 119
4.3.1 協方差的線性相關性度量 119
4.3.2 相關系數的線性相關性度量 122
4.3.3 Spearman秩相關系數 124
4.4 離散屬性相關性分析 126
4.4.1 交叉列聯表分析 126
4.4.2 用卡方檢驗進行離散相關性分析 127
4.4.3 列聯表上常用的指標 128
4.4.4 Fisher’s exact檢驗 129
4.5 本章小結 131
本章概念與關鍵詞 132
練習與思考 132
第5章 數據的預處理與距離分析 134
5.1 數據的預處理 134
5.1.1 數據清理 134
5.1.2 數據集成 136
5.1.3 數據變換 137
5.1.4 數據歸約 137
5.2 數據的常用組織方式 138
5.2.1 數據的常用邏輯組織 138
5.2.2 數據的常用物理組織 139
5.2.3 高精度計算與矩陣計算 139
5.2.4 編程語言、軟件工具 140
5.3 相似度計算與距離分析 140
5.3.1 相似度與距離的轉換 140
5.3.2 閔可夫斯基距離 143
5.3.3 馬氏距離 145
5.3.4 混合屬性的相似度與距離 147
5.4 kNN分類模型 148
5.4.1 kNN分類模型概述 148
5.4.2 距離加權kNN分類模型 150
5.5 參數的點估計 151
5.5.1 原點矩與中心矩 151
5.5.2 矩估計法 152
5.5.3 極大似然估計法 153
5.6 本章小結 156
本章概念與關鍵詞 156
練習與思考 156
第6章 回歸分析 158
6.1 一元線性回歸 158
6.1.1 一元線性回歸問題描述 158
6.1.2 一元線性回歸模型與求解 159
6.1.3 確認回歸方程的精度 161
6.1.4 總體回歸的方差分析 162
6.1.5 殘差分析 164
6.1.6 回歸方程參數檢驗 167
6.1.7 回歸方程預測與控制 168
6.2 多元線性回歸 170
6.2.1 多元線性回歸問題描述 170
6.2.2 多元線性回歸模型與求解 172
6.2.3 確認回歸方程的精度 173
6.2.4 殘差分析 174
6.2.5 回歸方程參數檢驗 175
6.2.6 回歸方程預測 176
6.3 常用的曲線回歸 177
6.3.1 曲線回歸問題 177
6.3.2 多項式回歸 177
6.3.3 指數回歸與對數回歸 179
6.3.4 其他常見曲線回歸 179
6.4 最小二乘法及其應用 179
6.4.1 最小二乘法線性擬合 179
6.4.2 偽逆矩陣求解 180
6.4.3 Moore-Pseudo逆矩陣 181
6.4.4 最小均方誤差算法 182
6.4.5 非線性回歸 183
6.4.6 智能優化求解技術 183
6.5 Logistic回歸 184
6.5.1 Logistic回歸分類與基本函數 184
6.5.2 Logistic回歸系數計算 185
6.6 本章小結 186
本章概念與關鍵詞 187
練習與思考 187
第7章 空間降維技術 189
7.1 主成分分析 189
7.1.1 主成分分析描述 189
7.1.2 基于協方差矩陣的主成分分析 190
7.1.3 基于相關系數矩陣的主成分
分析 192
7.1.4 主成分分析與因子分析的聯系 193
7.1.5 主成分分析的作用 194
7.2 因子分析案例研究 196
7.2.1 研究的目的與內容 196
7.2.2 變量選取與數據來源 196
7.2.3 因子分析過程 197
7.2.4 因子回歸分析 198
7.2.5 案例研究結論 199
7.3 奇異值分解 200
7.3.1 SVD的協同過濾推薦 200
7.3.2 SVD在協同過濾中的應用 203
7.3.3 SVD增量式協同過濾方法 204
7.4 主成分回歸與逐步回歸 205
7.4.1 多重共線性 205
7.4.2 主成分回歸 207
7.4.3 逐步回歸 207
7.5 本章小結 208
本章概念與關鍵詞 208
練習與思考 209
第8章 關聯規則與點對相關性 210
8.1 頻繁模式與關聯規則的基本
概念 210
8.1.1 頻繁模式的基本概念 210
8.1.2 關聯規則的基本概念 211
8.1.3 極大頻繁模式與閉頻繁模式 212
8.2 頻繁模式挖掘 213
8.2.1 Apriori算法 213
8.2.2 垂直數據格式 214
8.2.3 基于頻繁模式計算關聯規則 215
8.3 頻繁模式樹 216
8.3.1 頻繁模式樹的構建 216
8.3.2 頻繁模式樹的遞歸過程 219
8.4 點對相似度的典型度量 220
8.4.1 點對關系常見度量 220
8.4.2 點對相關性度量的幾種特性 222
8.5 信息熵及其應用與點對相關性
度量 224
8.5.1 信息熵 224
8.5.2 聯合熵與互信息 226
8.5.3 信息增益、相對熵和交叉熵 228
8.5.4 互信息、交叉熵用于相關性 229
8.6 本章小結 230
本章概念與關鍵詞 230
練習與思考 231
第9章 決策樹 232
9.1 分類問題與模型訓練 232
9.1.1 分類問題描述 232
9.1.2 分類問題舉例與泛化問題 233
9.1.3 分類模型的常見評價指標 235
9.2 決策樹及ID3算法 236
9.2.1 決策樹概述 236
9.2.2 ID3算法 238
9.3 C4.5算法與連續屬性特征分
類樹 241
9.3.1 C4.5算法 241
9.3.2 連續屬性的決策樹構建 241
9.4 CART決策樹 243
9.4.1 CART分類樹 243
9.4.2 CART回歸樹 244
9.5 決策樹剪枝 250
9.5.1 剪枝問題的提出與先剪枝技術 250
9.5.2 錯誤率降低剪枝法 251
9.5.3 悲觀剪枝法 251
9.5.4 代價復雜度剪枝法 254
9.6 ROC曲線與AUC指標 255
9.6.1 ROC曲線描述與繪制 255
9.6.2 ROC曲線繪制與作用 257
9.6.3 AUC指標與應用 258
9.7 本章小結 259
本章概念與關鍵詞 259
練習與思考 260
第10章 貝葉斯分類 261
10.1 連續屬性貝葉斯分類器 261
10.1.1 單個連續屬性貝葉斯分類 261
10.1.2 多個連續屬性的最小總風險
決策 262
10.1.3 多個連續屬性的最小平均誤差率
決策 263
10.2 正態概率分布下的貝葉斯分
類器 264
10.2.1 分類器的判別函數表示形式 264
10.2.2 正態分布下的貝葉斯判別函數 264
10.2.3 正態分布下的貝葉斯判別舉例 265
10.3 離散屬性貝葉斯分類器 267
10.3.1 離散屬性貝葉斯模型 267
10.3.2 樸素貝葉斯分類器 267
10.4 樸素貝葉斯文本分類和TAN貝葉斯
模型 270
10.4.1 樸素貝葉斯文本分類器 270
10.4.2 TAN貝葉斯分類模型 272
10.5 貝葉斯分類器中的參數估計與非參數
估計 276
10.5.1 貝葉斯分類器中的參數估計 276
10.5.2 非參數估計 277
10.6 本章小結 278
本章概念與關鍵詞 279
練習與思考 279
第11章 特征空間與判別分析 280
11.1 特征空間 280
11.1.1 特征空間構造 280
11.1.2 特征空間評價 282
11.1.3 特征空間變換 284
11.1.4 證據空間 285
11.2 特征提取與特征選擇 285
11.2.1 特征提取 285
11.2.2 特征選擇 285
11.2.3 jiang相關系數 286
11.2.4 過濾式特征選擇 288
11.2.5 封裝式特征選擇 288
11.2.6 嵌入式特征選擇 289
11.3 極大似然判別分析 289
11.3.1 極大似然判別分析的工作過程 289
11.3.2 極大似然判別分析的應用舉例 290
11.4 距離判別分析 290
11.4.1 距離與相似度的常用度量 290
11.4.2 距離判別分析的工作原理 291
11.4.3 距離判別法的檢驗與多總體距離
判別 293
11.4.4 兩總體方差是否有相同的檢驗 294
11.4.5 加權的距離或相似度應用于距離判別
分析與kNN分類模型 296
11.5 Fisher判別分析 296
11.5.1 兩類別的線性判別中的最佳投影
方向 296
11.5.2 兩類別的線性判別過程 298
11.5.3 多重線性判別分析 299
11.5.4 Fisher判別分析應用舉例 301
11.6 本章小結 303
本章概念與關鍵詞 303
練習與思考 303
第12章 感知機與支持向量機 305
12.1 線性判別函數 305
12.1.1 線性判別函數表示 305
12.1.2 多重線性判別函數 306
12.1.3 廣義線性判別函數 306
12.2 感知機分類器 307
12.2.1 M-P模型 307
12.2.2 感知機結構 308
12.2.3 感知機訓練算法 309
12.2.4 感知機應用舉例 312
12.3 感知機訓練算法擴展 313
12.3.1 感知機的典型訓練算法 313
12.3.2 感知機松弛算法 314
12.3.3 最小均方誤差求解算法 314
12.3.4 Ho-kashyap求解算法 316
12.3.5 多分類擴展偽逆求解 317
12.3.6 感知機的對偶形式 318
12.4 最大間隔超平面與結構風險 319
12.4.1 最大間隔超平面 319
12.4.2 經驗風險最小化與結構風險
最小化 320
12.5 支持向量機 323
12.5.1 線性可分時的支持向量機 323
12.5.2 數據不可分時的線性SVM 327
12.5.3 非線性支持向量機 332
12.5.4 支持向量機中的其他問題 336
12.6 本章小結 338
本章概念與關鍵詞 339
練習與思考 339
第13章 人工神經網絡 341
13.1 激活函數與多層感知機 341
13.1.1 常見激活函數 341
13.1.2 多層感知機結構 344
13.1.3 多層感知機設計 345
13.2 BP神經網絡 347
13.2.1 BP神經網絡及BP算法 347
13.2.2 BP算法訓練中的注意事項 351
13.3 BP神經網絡應用 355
13.3.1 二分類問題應用 355
13.3.2 多分類問題與擬合問題 359
13.4 深度學習 361
13.4.1 深度學習技術環境 361
13.4.2 卷積神經網絡 363
13.4.3 卷積神經網絡訓練與應用
舉例 368
13.4.4 循環神經網絡 373
13.4.5 其他深度學習技術 376
13.5 本章小結 378
本章概念與關鍵詞 379
練習與思考 379
第14章 集成學習 381
14.1 機器學習中的若干問題 381
14.1.1 機器學習的主要任務類型 381
14.1.2 機器學習的泛化問題 382
14.1.3 維數災難問題 384
14.1.4 機器學習模型的優越性問題 385
14.2 統計量重抽樣技術 386
14.2.1 偏差與方差 386
14.2.2 刀切法統計量估計 387
14.2.3 自助法統計量估計 388
14.3 分類器重抽樣技術與組合
分類器 389
14.3.1 Bagging法 389
14.3.2 Boosting法 389
14.3.3 Bagging法與Boosting法的主要
特點 390
14.3.4 組合分類器 390
14.4 隨機森林與Adaboost算法 393
14.4.1 隨機森林 393
14.4.2 Adaboost算法 396
14.5 分類模型中的若干問題 397
14.5.1 用二分類器處理多分類問題 397
14.5.2 多標簽分類方法 399
14.5.3 類別數據不平衡問題 400
14.5.4 單純提高精確率與單純提高
召回率的方法 401
14.6 本章小結 402
本章概念與關鍵詞 403
練習與思考 403
第15章 聚類分析與離群點分析 404
15.1 聚類問題與聚類類型 404
15.1.1 聚類問題 404
15.1.2 聚類類型 405
15.2 基于劃分的聚類 406
15.2.1 k-means聚類 406
15.2.2 k-medoids聚類 408
15.3 層次聚類 410
15.3.1 簇間距離的計算 410
15.3.2 層次聚類方法 410
15.4 基于密度的聚類 412
15.4.1 DBSCAN聚類 412
15.4.2 OPTICS聚類 415
15.5 基于網格的聚類與基于模型的
聚類 417
15.5.1 CLIQUE聚類 417
15.5.2 自組織神經網絡聚類原理 418
15.6 離群點分析 420
15.6.1 離群點分析 420
15.6.2 離群點檢測 420
15.7 本章小結 421
本章概念與關鍵詞 422
練習與思考 422
附錄A Mann-Whitney U檢驗的
臨界表 424
附錄B Wilcoxon signed-rank檢驗按符號秩
和的臨界表 424
附錄C Wilcoxon signed-rank檢驗按min
(正號秩，負號秩)的臨界表 425
附錄D q分布(Studentized range distribution)
的臨界表 426
附錄E Dunnett雙尾檢驗的臨界表 428
附錄F 相關系數R和判定系數R2的
臨界表 430
附錄G 鳶尾花數據集 431
參考文獻 433
新書資訊