本書涵蓋大數據專業經典的40個實驗，每一個實驗給出具體的目的、要求、原理，并給出詳細的實驗步驟和試驗程序。具體包括HDFS實驗、YARN實驗、MapReduce實驗、Hive實驗、Spark實驗、ZooKeeper實驗、HBase實驗、Storm實驗等等。
劉鵬 ，清華大學博士，解放軍理工大學教授 、學科帶頭人，中國云計算專家委員會委員。
主要研究方向為信息網格和云計算，完成科研課題18項，發表論文70余篇，獲部級科技進步獎6項。曾奪得國際計算機排序比賽冠軍，并二次奪得全國高校科技比賽*高獎，獲“全軍十大學習成才標兵”、“南京十大杰出青年”和“清華大學學術新秀”等稱號。2002年首倡的“網格計算池”和2003年研發的“反垃圾郵件網格”分別為云計算和云安全的前身。創辦了知名的中國網格和中國云計算網站
目 錄
實驗一 大數據實驗一體機基礎操作 1
1．1 實驗目的 1
1．2 實驗要求 1
1．3 實驗原理 1
1．4 實驗步驟 9
實驗二 HDFS實驗：部署HDFS 17
2．1 實驗目的 17
2．2 實驗要求 17
2．3 實驗原理 17
2．4 實驗步驟 19
實驗三 HDFS實驗：讀寫HDFS文件 21
3．1 實驗目的 21
3．2 實驗要求 21
3．3 實驗原理 21
3．4 實驗步驟 23
實驗四 YARN實驗：部署YARN集群 31
4．1 實驗目的 31
4．2 實驗要求 31
4．3 實驗原理 31
4．4 實驗步驟 33
4．5 實驗結果 35
實驗五 MapReduce實驗：單詞計數 37
5．1 實驗目的 37
5．2 實驗要求 37
5．3 實驗原理 37
5．4 實驗步驟 39
5．5 實驗結果 41
實驗六 MapReduce實驗：二次排序 43
6．1 實驗目的 43
6．2 實驗要求 43
6．3 實驗原理 43
6．4 實驗步驟 43
6．5 實驗結果 48
實驗七 MapReduce實驗：計數器 49
7．1 實驗目的 49
7．2 實驗要求 49
7．3 實驗背景 49
7．4 實驗步驟 51
7．5 實驗結果 53
實驗八 MapReduce實驗：Join操作 55
8．1 實驗目的 55
8．2 實驗要求 55
8．3 實驗背景 55
8．4 實驗步驟 56
8．5 實驗結果 61
實驗九 MapReduce實驗：分布式緩存 63
9．1 實驗目的 63
9．2 實驗要求 63
9．3 實驗步驟 63
9．4 實驗結果 68
實驗十 Hive實驗：部署Hive 69
10．1 實驗目的 69
10．2 實驗要求 69
10．3 實驗原理 69
10．4 實驗步驟 70
10．5 實驗結果 71
實驗十一 Hive實驗：新建Hive表 73
11．1 實驗目的 73
11．2 實驗要求 73
11．3 實驗原理 73
11．4 實驗步驟 73
11．5 實驗結果 75
實驗十二 Hive實驗：Hive分區 77
12．1 實驗目的 77
12．2 實驗要求 77
12．3 實驗原理 77
12．4 實驗步驟 77
12．5 實驗結果 79
實驗十三 Spark實驗：部署Spark集群 80
13．1 實驗目的 80
13．2 實驗要求 80
13．3 實驗原理 80
13．4 實驗內容和步驟 81
13．5 實驗結果 83
實驗十四 Spark實驗：SparkWordCount 85
14．1 實驗目的 85
14．2 實驗要求 85
14．3 實驗原理 85
14．4 實驗步驟 89
14．5 實驗結果 89
實驗十五 Spark實驗：RDD綜合實驗 90
15．1 實驗目的 90
15．2 實驗要求 90
15．3 實驗原理 90
15．4 實驗步驟 91
15．5 實驗結果 93
實驗十六 Spark實驗：Spark綜例 94
16．1 實驗目的 94
16．2 實驗要求 94
16．3 實驗原理 94
16．4 實驗步驟 96
實驗十七 Spark實驗：Spark SQL 99
17．1 實驗目的 99
17．2 實驗要求 99
17．3 實驗原理 99
17．4 實驗步驟 100
17．5 實驗結果 101
實驗十八 Spark實驗：Spark Streaming 103
18．1 實驗目的 103
18．2 實驗要求 103
18．3 實驗原理 103
18．4 實驗步驟 107
18．5 實驗結果 110
實驗十九 Spark實驗：GraphX 111
19．1 實驗目的 111
19．2 實驗要求 111
19．3 實驗原理 111
19．4 實驗步驟 111
19．5 實驗結果 116
實驗二十 部署ZooKeeper 117
20．1 實驗目的 117
20．2 實驗要求 117
20．3 實驗原理 117
20．4 實驗步驟 117
20．5 實驗結果 119
實驗二十一 ZooKeeper進程協作 121
21．1 實驗目的 121
21．2 實驗要求 121
21．3 實驗原理 121
21．4 實驗步驟 121
21．5 實驗結果 123
實驗二十二 部署HBase 124
22．1 實驗目的 124
22．2 實驗要求 124
22．3 實驗原理 124
22．4 實驗步驟 125
22．5 實驗結果 127
實驗二十三 新建HBase表 128
23．1 實驗目的 128
23．2 實驗要求 128
23．3 實驗原理 128
23．4 實驗步驟 128
23．5 實驗結果 133
實驗二十四 部署Storm 135
24．1 實驗目的 135
24．2 實驗要求 135
24．3 實驗原理 135
24．4 實驗步驟 136
24．5 實驗結果 138
實驗二十五 實時WordCountTopology 139
25．1 實驗目的 139
25．2 實驗要求 139
25．3 實驗原理 139
25．4 實驗步驟 141
25．5 實驗結果 144
實驗二十六 文件數據Flume至HDFS 145
26．1 實驗目的 145
26．2 實驗要求 145
26．3 實驗原理 145
26．4 實驗步驟 147
26．5 實驗結果 149
實驗二十七 Kafka訂閱推送示例 150
27．1 實驗目的 150
27．2 實驗要求 150
27．3 實驗原理 150
27．4 實驗步驟 152
27．5 實驗結果 154
實驗二十八 Pig版WordCount 155
28．1 實驗目的 155
28．2 實驗要求 155
28．3 實驗原理 155
28．4 實驗步驟 156
28．5 實驗結果 158
實驗二十九 Redis部署與簡單使用 160
29．1 實驗目的 160
29．2 實驗要求 160
29．3 實驗原理 160
29．4 實驗步驟 162
29．5 實驗結果 163
實驗三十 MapReduce與Spark讀寫Redis 164
30．1 實驗目的 164
30．2 實驗要求 164
30．3 實驗原理 164
30．4 實驗步驟 165
30．5 實驗結果 170
實驗三十一 MongoDB實驗：讀寫MongoDB 172
31．1 實驗目的 172
31．2 實驗要求 172
31．3 實驗原理 172
31．4 實驗步驟 173
31．5 實驗結果 177
實驗三十二 LevelDB實驗：讀寫LevelDB 178
32．1 實驗目的 178
32．2 實驗要求 178
32．3 實驗原理 178
32．4 實驗步驟 181
32．5 實驗結果 183
實驗三十三 Mahout實驗：K-Means 184
33．1 實驗目的 184
33．2 實驗要求 184
33．3 實驗原理 184
33．4 實驗步驟 187
33．5 實驗結果 188
實驗三十四 使用Spark實現K-Means 189
34．1 實驗目的 189
34．2 實驗要求 189
34．3 實驗原理 189
34．4 實驗步驟 189
34．5 實驗結果 191
實驗三十五 使用Spark實現SVM 192
35．1 實驗目的 192
35．2 實驗要求 192
35．3 實驗原理 192
35．4 實驗步驟 194
35．5 實驗結果 195
實驗三十六 使用Spark實現FP-Growth 197
36．1 實驗目的 197
36．2 實驗要求 197
36．3 實驗原理 197
36．4 實驗步驟 199
36．5 實驗結果 200
實驗三十七 綜合實戰：車牌識別 202
37．1 實驗目的 202
37．2 實驗要求 202
37．3 實驗步驟 202
37．4 實驗結果 209
實驗三十八 綜合實戰：搜索引擎 211
38．1 實驗目的 211
38．2 實驗要求 211
38．3 實驗步驟 211
38．4 實驗結果 236
實驗三十九 綜合實戰：推薦系統 239
39．1 實驗目的 239
39．2 實驗要求 239
39．3 實驗步驟 239
39．4 實驗結果 245
實驗四十 綜合實戰：環境大數據 247
40．1 實驗目的 247
40．2 實驗要求 247
40．3 實驗原理 247
40．4 實驗步驟 247
實驗四十一 綜合實戰：智能硬件大數據托管 259
41．1 實驗目的 259
41．2 實驗要求 259
41．3 實驗原理 259
41．4 實驗步驟 261
41．5 實驗結果 266
實驗四十二 綜合實戰：貸款風險評估 268
42．1 實驗目的 268
42．2 實驗要求 268
42．3 實驗原理 268
42．4 實驗相關 269
42．5 實驗結果 275
新書資訊