本書以面向應用、面向實戰為指導思想，緊扣企業技術人才培養的特點，在知識點講解和實驗中避免復雜的理論，使讀者能快速上手體驗、驗證大數據處理的魅力，以激發讀者的學習興趣。
本書覆蓋了大數據生命周期中的主要技術要點，全書共8章，第1章介紹大數據的產生和特點及思維的變革，第2章了解大數據生態系統，第3～7章按照大數據的生命周期，分別討論大數據采集與預處理、大數據管理、大數據分析、大數據可視化、大數據應用的基本原理和方法，第8章討論大數據安全面臨的挑戰。
本書可作為本科、高職院校大數據技術或數據科學課程的參考書或教材，也可供數據科學相關技術人員閱讀。
目 錄
前言
第1章 概論1
1.1 揭秘大數據1
1.1.1 大數據產生歷史必然1
1.1.2 大數據概念和特征2
1.1.3 大數據生命周期3
1.1.4 大數據與物聯網、云計算、人工智能5
1.1.5 大數據時代的八個重大變革5
1.2 Linux系統概述7
1.2.1 Linux版本7
1.2.2 Linux系統目錄結構7
1.2.3 文本編輯器vi9
1.2.4 文件權限解讀10
1.2.5 Linux系統常用命令11
習題112
實驗報告1 Linux實驗13
第2章 大數據生態系統15
2.1 認識Hadoop15
2.2 HDFS16
2.2.1 HDFS體系結構16
2.2.2 HDFS存儲原理17
2.2.3 HDFS常用操作20
2.3 MapReduce21
2.3.1 MapReduce邏輯結構21
2.3.2 MapReduce操作案例23
*2.4 Zookeeper24
習題225
實驗報告2 Hadoop實驗27
第3章 大數據采集與預處理29
3.1 數據29
3.1.1 數據是什么29
3.1.2 數據分類29
3.1.3 度量和維度31
3.2 數據采集32
3.2.1 數據采集分類32
3.2.2 數據采集方法32
3.2.3 數據采集工具32
3.3 數據清洗34
3.3.1 數據清洗任務34
3.3.2 數據清洗過程34
3.4 數據變換35
3.4.1 規范化36
3.4.2 函數變換36
3.5 網絡爬蟲37
3.5.1 爬蟲簡介37
*3.5.2 論壇爬蟲源代碼分析38
習題340
*實驗報告3 網絡爬蟲41
第4章 大數據管理42
4.1 NoSQL42
4.1.1 NoSQL概述42
4.1.2 鍵值數據庫43
4.1.3 圖數據庫44
4.1.4 文檔數據庫45
4.1.5 列式數據庫47
4.1.6 云數據庫47
4.2 HBase47
4.2.1 HBase模型47
4.2.2 HBase與傳統關系數據庫的對比分析49
4.2.3 HBase系統架構49
4.2.4 HBase常用Shell命令51
習題452
實驗報告4 HBase實驗53
第5章 大數據分析54
5.1 大數據分析概述54
5.1.1 數據分析原則54
5.1.2 大數據分析特點54
5.1.3 大數據分析流程55
5.1.4 數據分析師基本技能和素質57
*5.1.5 大數據分析難點58
*5.2 業務理解59
5.2.1 什么是業務理解59
5.2.2 如何理解業務60
5.2.3 數據業務化61
5.3 數據認知63
5.3.1 數據預處理63
5.3.2 概率分析63
*5.3.3 對比分析67
*5.3.4 細分分析68
*5.3.5 交叉分析69
5.3.6 相關分析69
5.4 特征工程72
5.4.1 特征工程面臨的挑戰72
5.4.2 特征選擇72
5.4.3 特征提取72
5.4.4 指標設計73
5.5 數據建模76
5.5.1 模型分類76
5.5.2 決策樹77
5.5.3 關聯分析81
5.5.4 回歸分析82
5.5.5 聚類分析85
*5.5.6 k-鄰近分類算法KNN86
*5.6 通用計算引擎Spark86
5.6.1 Spark簡介86
5.6.2 Spark與Hadoop差異88
5.6.3 Spark適用場景88
5.6.4 Spark運行模式89
5.6.5 Spark常用術語89
5.7 大數據分析引擎Hive89
5.7.1 數據倉庫概念89
5.7.2 傳統數據倉庫的問題90
5.7.3 Hive特征90
5.7.4 Hive系統架構90
5.7.5 Hive應用案例91
習題595
實驗報告5 Hive實驗101
第6章 大數據可視化102
6.1 數據可視化基本概念102
6.1.1 為什么要數據可視化102
6.1.2 什么是數據可視化103
6.1.3 數據可視化的作用104
6.1.4 數據可視化術語104
6.1.5 數據可視化三要素105
6.2 常用圖形105
6.2.1 餅圖（扇形圖）105
6.2.2 堆積柱形圖106
6.2.3 風玫瑰圖106
6.2.4 柱狀圖107
6.2.5 直方圖107
6.2.6 氣泡圖108
6.2.7 散點圖矩陣108
6.2.8 折線圖109
6.2.9 面積圖109
6.2.10 相關系數圖110
6.2.11 雷達圖110
6.2.12 箱線圖110
6.3 數據可視化設計111
6.3.1 數據可視化設計原則111
6.3.2 數據可視化=數據+設計+故事113
6.3.3 數據可視化圖形選擇建議113
6.4 數據可視化工具114
6.4.1 基本工具114
6.4.2 進階工具114
6.5 基于R語言可視化基礎117
6.5.1 基本繪圖命令117
6.5.2 ggplot2繪圖121
習題6128
*實驗報告6 可視化實驗129
第7章 大數據應用131
7.1 零售行業大數據131
7.1.1 沃爾瑪的購物籃分析131
7.1.2 農夫山泉用海量照片提升銷量132
7.2 交通大數據134
7.2.1 交通擁堵大數據分析134
7.2.2 預測起飛時間142
7.3 醫療大數據143
7.3.1 移動醫療與個人健康143
7.3.2 基因測序——精準治癌正在成為現實146
第8章 大數據安全150
8.1 大數據安全的重要意義150
8.2 大數據面臨的挑戰151
8.3 大數據的安全威脅152
8.3.1 大數據基礎設施安全威脅152
8.3.2 大數據存儲安全威脅152
8.3.3 大數據的隱私泄露153
8.3.4 大數據的其他安全威脅155
8.4 大數據與網絡攻擊監測155
8.5 大數據安全分析155
8.6 大數據安全標準157
8.6.1 基礎標準類158
8.6.2 平臺和技術類158
8.6.3 數據安全類159
8.6.4 服務安全類159
8.6.5 應用安全類160
附錄 大數據軟件安裝161
A.1 基礎環境準備161
A.2 安裝JDK162
A.3 安裝Hadoop162
A.4 安裝Zookeeper167
A.5 安裝HBase169
A.6 安裝Hive170
A.7 安裝Spark172
參考文獻175
新書資訊