本書全面講述人工智能與大數據涉及的技術，學完本書后，讀者將對人工智能技術有全面的理解，并能掌握AI整體知識架構。
本書共分16章，內容包括人工智能概述、AI產業、數據、機器學習概述、模型、機器學習算法、深度學習、TensorFlow、神經網絡、知識圖譜、數據挖掘，以及銀行業、醫療、公安、工農業等行業人工智能應用情況。附錄給出了極有參考價值的大數據與人工智能產業參考資料。
本書適合人工智能與大數據技術初學者、人工智能行業準從業人員、AI投資領域的技術專家閱讀，也適合作為高等院校和培訓學校人工智能相關專業師生的教學參考書。
本書從人工智能的定義入手，前兩章闡述了人工智能火熱的成因、發展歷程、產業鏈、技術和應用場景，從第3章開始詳細闡述人工智能的幾個核心技術（大數據、機器學習、深度學習）和*流行的開源平臺（TensorFlow）。通過本書，讀者既能了解人工智能的方方面面（廣度），又能深度學習人工智能的重點技術和平臺工具，*終能夠將人工智能技術應用到實際工作場景中，共同創建一個智能的時代。
楊正洪，畢業于美國State University of New York at Stony Brook，在美國硅谷從事AI和大數據相關研發工作十余年，華中科技大學和中國地質大學客座教授，湖北省2013年海外引進人才，并擁有多項國家專利。楊正洪參與了大數據和人工智能的國家標準的制定，在2016年參與了公安部主導的“信息安全技術：大數據平臺安全管理產品安全技術要求”的國家標準制定。楊正洪是中關村海外智庫專家顧問和住建部中規院專家顧問，曾擔任在美上市公司CTO、北京某國企CIO和上海某國企高級副總裁等職。多年從事人工智能與大數據技術的實踐，出版了《智慧城市》《大數據技術入門》等多本暢銷書。
目 錄
第1章 人工智能概述 1
1.1 AI是什么 1
1.1.1 火熱的AI 2
1.1.2 AI的驅動因素 3
1.2 AI技術的成熟度 4
1.2.1 視覺識別 4
1.2.2 自然語言理解 5
1.2.3 機器人 7
1.2.4 自動駕駛 8
1.2.5 機器學習 9
1.2.6 游戲 10
1.3 美國AI巨頭分析 11
1.4 國內AI現狀 16
1.5 AI與云計算和大數據的關系 17
1.6 AI技術路線 17
1.7 AI國家戰略 18
1.8 AI的歷史發展 19
第2章 AI產業 24
2.1 基礎層 25
2.1.1 芯片產業 25
2.1.2 GPU 27
2.1.3 FPGA 28
2.1.4 ASIC 28
2.1.5 TPU 29
2.1.6 亞馬遜的芯片 31
2.1.7 芯片產業小結 32
2.1.8 傳感器 33
2.1.9 傳感器小結 35
2.2 技術層 37
2.2.1 機器學習 37
2.2.2 語音識別與自然語言處理 39
2.2.3 計算機視覺 42
2.3 應用層 44
2.3.1 安防 44
2.3.2 金融 45
2.3.3 制造業 47
2.3.4 智能家居 48
2.3.5 醫療 48
2.3.6 自動駕駛 50
2.4 AI產業發展趨勢分析 55
第3章 數 據 58
3.1 什么是大數據 59
3.1.1 大數據的特征 59
3.1.2 大數據的誤區 60
3.1.3 大數據交易難點 60
3.1.4 大數據的來源 62
3.1.5 數據關聯 63
3.1.6 大數據生產鏈 64
3.1.7 大數據怎么用 64
3.2 國內大數據現狀 65
3.2.1 政策持續完善 66
3.2.2 技術和應用逐步落地 66
3.2.3 數據產生價值難 67
3.2.4 問題與機遇并存 67
3.3 大數據的計算模式 68
3.3.1 流式計算的應用場景 69
3.3.2 流式大數據的特征 70
3.3.3 流式計算關鍵技術 72
3.4 大數據技術 74
3.4.1 數據技術的演進 75
3.4.2 分布式計算系統概述 76
3.4.3 Hadoop 77
3.4.4 Spark 80
3.4.5 Storm系統 82
3.4.6 Kafka系統 84
3.4.7 各類技術平臺比較 86
3.5 數據平臺 88
3.5.1 數據存儲和計算 89
3.5.2 數據質量 92
3.5.3 數據管理 97
3.5.4 數據目錄 99
3.5.5 數據安全管控 100
3.5.6 數據準備 102
3.5.7 數據整合 107
3.5.8 數據服務 107
3.5.9 數據開發 107
3.5.10 數據平臺總結 108
3.6 大數據的商用途徑 109
3.6.1 數據化 109
3.6.2 算法化 109
3.6.3 應用化（產品化） 110
3.6.4 生態化 111
3.7 大數據產業 112
3.7.1 大數據產業界定 112
3.7.2 大數據技術發展的推動力 114
3.7.3 重點行業的大數據應用 117
3.7.4 大數據應用發展趨勢 123
3.7.5 大數據的產業鏈構成分析 123
3.8 政府大數據案例分析 125
3.8.1 政府有哪些數據資源 126
3.8.2 政府大數據應用案例 126
3.8.3 政府大數據面臨的挑戰 130
3.8.4 政府大數據應用啟示 131
第4章 機器學習概述 133
4.1 走進機器學習 133
4.1.1 什么是機器學習 133
4.1.2 機器學習的感性認識 133
4.1.3 機器學習的本質 134
4.1.4 對機器學習的全面認識 135
4.1.5 機器學習、深度學習與人工智能 136
4.1.6 機器學習、數據挖掘與數據分析 137
4.2 機器學習的基本概念 139
4.2.1 數據集、特征和標簽 139
4.2.2 監督式學習和非監督式學習 140
4.2.3 強化學習和遷移學習 140
4.2.4 特征數據類型 141
4.2.5 訓練集、驗證集和測試集 141
4.2.6 機器學習的任務流程 142
4.3 數據預處理 142
4.3.1 探索性分析 143
4.3.2 數據清洗 143
4.3.3 特征工程 145
第5章 模 型 146
5.1 什么是模型 146
5.2 誤差和MSE 148
5.3 模型的訓練 149
5.3.1 模型與算法的區別 149
5.3.2 迭代法 150
5.4 梯度下降法 151
5.4.1 步長 152
5.4.2 優化步長 152
5.4.3 三類梯度下降法 153
5.4.4 梯度下降的詳細算法 154
5.5 模型的擬合效果 155
5.5.1 欠擬合與過擬合 155
5.5.2 過擬合的處理方法 156
5.6 模型的評估與改進 157
5.6.1 機器學習模型的評估 157
5.6.2 機器學習算法與人類比較 158
5.6.3 改進策略 159
5.7 機器學習的實現框架 160
5.7.1 Python 160
5.7.2 scikit-learn 161
5.7.3 Spark MLlib 163
第6章 機器學習算法 164
6.1 算法概述 164
6.1.1 線性回歸 165
6.1.2 邏輯回歸 165
6.1.3 線性判別分析 166
6.1.4 分類與回歸樹分析 167
6.1.5 樸素貝葉斯 167
6.1.6 K最近鄰算法 168
6.1.7 學習矢量量化 168
6.1.8 支持向量機 169
6.1.9 Bagging和隨機森林 170
6.1.10 Boosting和AdaBoost 170
6.2 支持向量機算法 171
6.3 邏輯回歸算法 173
6.4 KNN算法 175
6.4.1 超參數k 175
6.4.2 KNN實例：波士頓房價預測 177
6.4.3 算法評價 179
6.5 決策樹算法 179
6.6 集成算法 182
6.6.1 集成算法簡述 182
6.6.2 集成算法之Bagging 183
6.6.3 集成算法之Boosting 184
6.7 聚類算法 185
6.7.1 K均值聚類 185
6.7.2 均值漂移聚類 186
6.7.3 基于密度的聚類方法 187
6.7.4 用高斯混合模型的最大期望聚類 188
6.7.5 凝聚層次聚類 189
6.7.6 圖團體檢測 190
6.8 機器學習算法總結 192
第7章 深度學習 193
7.1 走進深度學習 193
7.1.1 深度學習為何崛起 194
7.1.2 從邏輯回歸到淺層神經網絡 194
7.1.3 深度神經網絡 196
7.1.4 正向傳播 197
7.1.5 激活函數 197
7.2 神經網絡的訓練 197
7.2.1 神經網絡的參數 197
7.2.2 向量化 198
7.2.3 價值函數 198
7.2.4 梯度下降和反向傳播 198
7.3 神經網絡的優化和改進 199
7.3.1 神經網絡的優化策略 199
7.3.2 正則化方法 201
7.4 卷積神經網絡 203
7.4.1 卷積運算 203
7.4.2 卷積層 204
7.4.3 CNN實例 205
7.5 深度學習的優勢 210
7.6 深度學習的實現框架 211
第8章 TensorFlow 213
8.1 TensorFlow工具包 213
8.1.1 tf.estimator API 214
8.1.2 Pandas速成 214
8.1.3 必要的Python知識 216
8.2 第一個TensorFlow程序 219
8.2.1 裝載數據 220
8.2.2 探索數據 221
8.2.3 訓練模型 221
8.2.4 評估模型 223
8.2.5 優化模型 225
8.2.6 合成特征 231
8.2.7 離群值處理 234
8.3 過擬合處理 237
8.3.1 訓練集和測試集 238
8.3.2 驗證集 239
8.3.3 過擬合實例 240
8.4 特征工程 249
8.4.1 數值型數據 249
8.4.2 字符串數據和one-hot編碼 250
8.4.3 枚舉數據（分類數據） 250
8.4.4 好特征 250
8.4.5 數據清洗 251
8.4.6 分箱（分桶）技術 252
8.4.7 特征工程實例 253
第9章 TensorFlow高級知識 263
9.1 特征交叉 263
9.1.1 什么是特征交叉 263
9.1.2 FTRL實踐 265
9.1.3 分桶（分箱）代碼實例 268
9.1.4 特征交叉代碼實例 271
9.2 L2正則化 274
9.3 邏輯回歸 276
9.4 分類 279
9.4.1 評價指標—準確率 279
9.4.2 評價指標—精確率 281
9.4.3 指標—召回率 281
9.4.4 評價指標之綜合考慮 282
9.4.5 ROC 曲線 284
9.4.6 預測偏差 285
9.4.7 分類代碼實例 286
9.5 L1正則化 298
第10章 神經網絡 308
10.1 什么是神經網絡 308
10.1.1 隱藏層 308
10.1.2 激活函數 309
10.1.3 ReLU 310
10.1.4 實例代碼 311
10.2 訓練神經網絡 320
10.2.1 正向傳播算法 320
10.2.2 反向傳播算法 322
10.2.3 標準化特征值 324
10.2.4 丟棄正則化 324
10.2.5 代碼實例 325
10.3 多類別神經網絡 340
10.3.1 一對多方法 340
10.3.2 Softmax 341
10.3.3 代碼實例 343
10.4 嵌套 357
10.4.1 協同過濾 358
10.4.2 稀疏數據 359
10.4.3 獲取嵌套 360
10.4.4 代碼實例 360
第11章 知識圖譜 372
11.1 什么是知識圖譜 372
11.1.1 知識圖譜的定義 373
11.1.2 知識圖譜的架構 373
11.1.3 開放知識圖譜 374
11.1.4 知識圖譜在行業數據分析中的應用 376
11.2 知識圖譜構建的關鍵技術 377
11.2.1 知識提取 378
11.2.2 語義類抽取 379
11.2.3 屬性和屬性值抽取 381
11.2.4 關系抽取 382
11.2.5 知識表示 382
11.2.6 知識融合 383
11.3 知識計算及應用 384
11.4 企業知識圖譜建設 384
第12章 數據挖掘 387
12.1 什么是數據挖掘 387
12.1.1 數據挖掘技術產生的背景 387
12.1.2 數據挖掘與數據分析的區別 387
12.2 數據挖掘技術（方法） 388
12.2.1 分類 388
12.2.2 聚類 389
12.2.3 回歸分析 389
12.2.4 關聯規則 389
12.2.5 神經網絡方法 390
12.2.6 Web數據挖掘 390
12.2.7 特征分析 390
12.2.8 偏差分析 391
12.3 大數據思維 391
12.3.1 信度與效度思維 391
12.3.2 分類思維 391
12.3.3 漏斗思維 392
12.3.4 邏輯樹思維 392
12.3.5 時間序列思維 393
12.3.6 指數化思維 393
12.3.7 循環／閉環思維 394
第13章 銀行業大數據和人工智能 395
13.1 四大行的進展 396
13.1.1 建設銀行 396
13.1.2 工商銀行 396
13.1.3 農業銀行 398
13.1.4 中國銀行 398
13.2 其他銀行 399
13.2.1 廣發銀行 399
13.2.2 江蘇銀行 400
13.3 金融宏觀大數據分析 404
13.4 小結 407
13.4.1 大數據給銀行帶來的機遇與挑戰 407
13.4.2 銀行大數據體系建設的思考 409
第14章 醫療大數據和人工智能 412
14.1 醫療大數據的特點 412
14.2 醫療大數據處理模型 413
14.3 醫療大數據的AI應用 416
14.3.1 智能輔助診療 416
14.3.2 影像數據分析與影像智能診斷 416
14.3.3 合理用藥 416
14.3.4 遠程監控 417
14.3.5 精準醫療 417
14.3.6 成本與療效分析 417
14.3.7 績效管理 417
14.3.8 醫院控費 417
14.3.9 醫療質量分析 418
14.4 人工智能的醫療應用場景 418
14.5 人工智能要當“醫生” 420
14.6 醫院大數據 421
14.7 機器學習在醫療行業中的應用實例分析 422
第15章 公安大數據和人工智能 424
15.1 公安大數據的特點 424
15.2 建設流程 425
15.3 公安大數據管理平臺 426
15.3.1 公安大數據建模 427
15.3.2 公安大數據匯集 428
15.3.3 公安大數據服務 428
15.4 公安大數據挖掘分析 428
15.5 公安大數據AI應用 429
15.6 小結 430
第16章 工農業大數據和人工智能 431
16.1 中國制造2025 432
16.2 工業大數據 433
16.2.1 工業大數據面臨三大制約因素 433
16.2.2 工業大數據應用的四大發展趨勢 434
16.2.3 發展工業大數據 434
16.3 AI 制造 435
16.4 農業大數據 435
16.4.1 發展現狀 435
16.4.2 農業大數據目標 435
16.4.3 農業大數據建設任務 436
16.4.4 農產品質量安全追溯 437
附錄 A 國內人工智能企業名單 438
附錄 B 大數據和人工智能網上資料 441
附錄 C 本書中采用的人工智能中英文術語 444
附錄 D 術語列表 446
2017年是人工智能（Artificial Intelligence，AI）年，人工智能技術越來越多地應用到日常生活的方方面面。AlphaGo ZERO碾壓AlphaGo實現自我學習，百度無人汽車上路，iPhone X開啟FaceID，阿里和小米先后發布智能音箱，肯德基上線人臉支付……這些背后都是人工智能技術的驅動。2017年7月，國家發布了新一代人工智能發展規劃，將中國人工智能產業的發展推向了新高度。
人工智能技術是繼蒸汽機、電力、互聯網科技之后最有可能帶來新一次產業革命浪潮的技術，在爆炸式的數據積累、基于神經網絡模型的新型算法與更加強大、成本更低的計算力的促進下，本次人工智能的發展受到風險投資的熱烈追捧而處于高速發展時期，人工智能技術的應用場景也在各個行業逐漸明朗，開始帶來實際商業價值。在金融行業，人工智能可以在風險控制、資產配置、智能投顧等方向進行應用，預計將帶來約6000億元的降本增益效益。在汽車行業，人工智能在自動駕駛上的技術突破，將帶來約5000億元的價值增益。在醫療行業，通過人工智能技術，在藥物研發領域可以提高成功率，在醫療服務機構可以提供疾病診斷輔助、疾病監護輔助，預計可以帶來約4000億元的降本價值。在零售行業，人工智能在推薦系統上的運用將提高在線銷售的銷量，同時能夠對市場進行精準預測，降低庫存，預計將帶來約4200億元的降本增益效益。
人工智能是一個非常廣泛的領域。人工智能技術涵蓋很多大的學科，包括計算機視覺（模式識別、圖像處理）、自然語言理解與交流（語音識別）、認知科學、機器人學（機械、控制、設計、運動規劃、任務規劃等）、機器學習（各種統計的建模、分析和計算的方法）。人工智能產業鏈條涵蓋了基礎層、技術層、應用層等多個方面，其輻射范圍之大，單一公司無法包攬人工智能產業的每個環節，深耕細分領域和協作整合多個產業間資源的形式成為人工智能領域主要的發展路徑。
本書從人工智能的定義入手，前兩章闡述了人工智能火熱的成因、發展歷程、產業鏈、技術和應用場景，從第3章開始詳細闡述人工智能的幾個核心技術（大數據、機器學習、深度學習）和最流行的開源平臺（TensorFlow）。通過本書，讀者既能了解人工智能的方方面面（廣度），又能深度學習人工智能的重點技術和平臺工具，最終能夠將人工智能技術應用到實際工作場景中，共同創建一個智能的時代。
示例代碼及相關下載
本書示例代碼及其他相關材料可掃描右邊的二維碼獲得。
如果下載有問題或對本書內容有疑問，請聯系booksaga@163.com ，郵件主題為“人工智能與大數據技術導論”。
新書資訊