本書(shū)以深度學(xué)習(xí)算法入門(mén)為主要內(nèi)容，通過(guò)系統(tǒng)介紹Python、NumPy、SciPy等科學(xué)計(jì)算庫(kù)，深度學(xué)習(xí)主流算法，深度學(xué)習(xí)前沿研究，深度學(xué)習(xí)服務(wù)云平臺(tái)構(gòu)建四大主線，向讀者系統(tǒng)地介紹了深度學(xué)習(xí)的主要內(nèi)容和研究進(jìn)展。本書(shū)介紹了Python、NumPy、SciPy的使用技巧，面向谷歌推出的開(kāi)源深度學(xué)習(xí)框架TensorFlow，向讀者展示了利用TensorFlow和Theano框架實(shí)現(xiàn)線性回歸、邏輯回歸、多層感知器、卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)、去噪自動(dòng)編碼機(jī)、堆疊自動(dòng)編碼機(jī)、受限玻爾茲曼機(jī)、深度信念網(wǎng)絡(luò)等，并將這些技術(shù)用于MNIST手寫(xiě)數(shù)字識(shí)別任務(wù)。本書(shū)不僅講述了深度學(xué)習(xí)算法本身，而且重點(diǎn)講述了如何將這些深度學(xué)習(xí)算法包裝成Web服務(wù)。本書(shū)旨在幫助廣大工程技術(shù)人員快速掌握深度學(xué)習(xí)相關(guān)理論和實(shí)踐，并將這些知識(shí)應(yīng)用到實(shí)際工作中。
閆濤，網(wǎng)名“最老程序員”。中科院蘇州生物醫(yī)學(xué)工程技術(shù)研究所副研究員（兼），科技部重點(diǎn)專項(xiàng)：帕金森癥早期預(yù)防、“十三五”出生缺陷預(yù)防系統(tǒng)研究課題組成員，專注于深度學(xué)習(xí)在醫(yī)學(xué)影像學(xué)診斷、醫(yī)學(xué)圖像分割、醫(yī)學(xué)圖像診斷性標(biāo)注等應(yīng)用方向的技術(shù)開(kāi)發(fā)。CSDN博客重度使用者，博客地址http://blog.csdn.net/yt7589。北京動(dòng)維康科技有限公司聯(lián)合創(chuàng)始人、首席技術(shù)官，主持開(kāi)發(fā)了移動(dòng)醫(yī)療系統(tǒng)隨診醫(yī)生。專注于移動(dòng)互聯(lián)網(wǎng)軟件開(kāi)發(fā)20年，精通主流開(kāi)發(fā)技術(shù)，尤其擅長(zhǎng)處理大容量、高并發(fā)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。開(kāi)源軟件倡導(dǎo)者，本書(shū)部分代碼的GitHub網(wǎng)址為https://github.com/yt7589/dlp/tree/master/book。
目 錄
第一部分 深度學(xué)習(xí)算法概述
第1章 深度學(xué)習(xí)算法簡(jiǎn)介 2
1.1 神經(jīng)網(wǎng)絡(luò)發(fā)展簡(jiǎn)史 2
1.1.1 神經(jīng)網(wǎng)絡(luò)第一次興起 3
1.1.2 神經(jīng)網(wǎng)絡(luò)沉寂期（20世紀(jì)80年代—21世紀(jì)） 4
1.1.3 神經(jīng)網(wǎng)絡(luò)技術(shù)積累期（20世紀(jì)90年代—2006年） 5
1.1.4 深度學(xué)習(xí)算法崛起（2006年至今） 8
1.2 深度學(xué)習(xí)現(xiàn)狀 10
1.2.1 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)困境 10
1.2.2 深度多層感知器 12
1.2.3 深度卷積神經(jīng)網(wǎng)絡(luò) 14
1.2.4 深度遞歸神經(jīng)網(wǎng)絡(luò) 15
1.3 深度學(xué)習(xí)研究前瞻 16
1.3.1 自動(dòng)編碼機(jī) 17
1.3.2 深度信念網(wǎng)絡(luò) 18
1.3.3 生成式網(wǎng)絡(luò)最新進(jìn)展 19
1.4 深度學(xué)習(xí)框架比較 20
1.4.1 TensorFlow 20
1.4.2 Theano 21
1.4.3 Torch 22
1.4.4 DeepLearning4J 23
1.4.5 Caffe 23
1.4.6 MXNet 24
1.4.7 CNTK 27
1.4.8 深度學(xué)習(xí)框架造型指導(dǎo)原則 27
1.5 深度學(xué)習(xí)入門(mén)路徑 28
1.5.1 運(yùn)行MNIST 28
1.5.2 深度學(xué)習(xí)框架的選擇 29
1.5.3 小型試驗(yàn)網(wǎng)絡(luò) 33
1.5.4 訓(xùn)練生產(chǎn)網(wǎng)絡(luò) 33
1.5.5 搭建生產(chǎn)環(huán)境 34
1.5.6 持續(xù)改進(jìn) 35
第二部分 深度學(xué)習(xí)算法基礎(chǔ)
第2章 搭建深度學(xué)習(xí)開(kāi)發(fā)環(huán)境 38
2.1 安裝Python開(kāi)發(fā)環(huán)境 38
2.1.1 安裝最新版本Python 38
2.1.2 Python虛擬環(huán)境配置 39
2.1.3 安裝科學(xué)計(jì)算庫(kù) 40
2.1.4 安裝最新版本Theano 40
2.1.5 圖形繪制 40
2.2 NumPy簡(jiǎn)易教程 43
2.2.1 Python基礎(chǔ) 43
2.2.2 多維數(shù)組的使用 51
2.2.3 向量運(yùn)算 58
2.2.4 矩陣運(yùn)算 60
2.2.5 線性代數(shù) 62
2.3 TensorFlow簡(jiǎn)易教程 68
2.3.1 張量定義 69
2.3.2 變量和placeholder 69
2.3.3 神經(jīng)元激活函數(shù) 71
2.3.4 線性代數(shù)運(yùn)算 72
2.3.5 操作數(shù)據(jù)集 74
2.4 Theano簡(jiǎn)易教程 77
2.4.1 安裝Theano 77
2.4.2 Theano入門(mén) 78
2.4.3 Theano矩陣相加 79
2.4.4 變量和共享變量 80
2.4.5 隨機(jī)數(shù)的使用 84
2.4.6 Theano求導(dǎo) 84
2.5 線性回歸 86
2.5.1 問(wèn)題描述 86
2.5.2 線性模型 88
2.5.3 線性回歸學(xué)習(xí)算法 89
2.5.4 解析法 90
2.5.5 Theano實(shí)現(xiàn) 93
第3章 邏輯回歸 100
3.1 邏輯回歸數(shù)學(xué)基礎(chǔ) 100
3.1.1 邏輯回歸算法的直觀解釋 100
3.1.2 邏輯回歸算法數(shù)學(xué)推導(dǎo) 101
3.1.3 牛頓法解邏輯回歸問(wèn)題 103
3.1.4 通用學(xué)習(xí)模型 106
3.2 邏輯回歸算法簡(jiǎn)單應(yīng)用 113
3.3 MNIST手寫(xiě)數(shù)字識(shí)別庫(kù)簡(jiǎn)介 124
3.4 邏輯回歸MNIST手寫(xiě)數(shù)字識(shí)別 126
第4章 感知器模型和MLP 139
4.1 感知器模型 139
4.1.1 神經(jīng)元模型 139
4.1.2 神經(jīng)網(wǎng)絡(luò)架構(gòu) 143
4.2 數(shù)值計(jì)算形式 144
4.2.1 前向傳播 144
4.2.2 誤差反向傳播 145
4.2.3 算法推導(dǎo) 147
4.3 向量化表示形式 152
4.4 應(yīng)用要點(diǎn) 153
4.4.1 輸入信號(hào)模型 154
4.4.2 權(quán)值初始化 155
4.4.3 早期停止 155
4.4.4 輸入信號(hào)調(diào)整 156
4.5 TensorFlow實(shí)現(xiàn)MLP 156
第5章 卷積神經(jīng)網(wǎng)絡(luò) 174
5.1 卷積神經(jīng)網(wǎng)絡(luò)原理 174
5.1.1 卷積神經(jīng)網(wǎng)絡(luò)的直觀理解 174
5.1.2 卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成 177
5.1.3 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì) 191
5.1.4 遷移學(xué)習(xí)和網(wǎng)絡(luò)微調(diào) 193
5.2 卷積神經(jīng)網(wǎng)絡(luò)的TensorFlow實(shí)現(xiàn) 195
5.2.1 模型搭建 197
5.2.2 訓(xùn)練方法 203
5.2.3 運(yùn)行方法 208
第6章 遞歸神經(jīng)網(wǎng)絡(luò) 212
6.1 遞歸神經(jīng)網(wǎng)絡(luò)原理 212
6.1.1 遞歸神經(jīng)網(wǎng)絡(luò)表示方法 213
6.1.2 數(shù)學(xué)原理 214
6.1.3 簡(jiǎn)單遞歸神經(jīng)網(wǎng)絡(luò)應(yīng)用示例 219
6.2 圖像標(biāo)記 226
6.2.1 建立開(kāi)發(fā)環(huán)境 226
6.2.2 圖像標(biāo)記數(shù)據(jù)集處理 227
6.2.3 單步前向傳播 229
6.2.4 單步反向傳播 231
6.2.5 完整前向傳播 234
6.2.6 完整反向傳播 236
6.2.7 單詞嵌入前向傳播 239
6.2.8 單詞嵌入反向傳播 241
6.2.9 輸出層前向/反向傳播 243
6.2.10 輸出層代價(jià)函數(shù)計(jì)算 245
6.2.11 圖像標(biāo)注網(wǎng)絡(luò)整體架構(gòu) 248
6.2.12 代價(jià)函數(shù)計(jì)算 249
6.2.13 生成圖像標(biāo)記 255
6.2.14 網(wǎng)絡(luò)訓(xùn)練過(guò)程 258
6.2.15 網(wǎng)絡(luò)持久化 265
第7章 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò) 269
7.1 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)原理 269
7.1.1 網(wǎng)絡(luò)架構(gòu) 269
7.1.2 數(shù)學(xué)公式 272
7.2 MNIST手寫(xiě)數(shù)字識(shí)別 274
第三部分 深度學(xué)習(xí)算法進(jìn)階
第8章 自動(dòng)編碼機(jī) 286
8.1 自動(dòng)編碼機(jī)概述 286
8.1.1 自動(dòng)編碼機(jī)原理 287
8.1.2 去噪自動(dòng)編碼機(jī) 287
8.1.3 稀疏自動(dòng)編碼機(jī) 288
8.2 去噪自動(dòng)編碼機(jī)TensorFlow實(shí)現(xiàn) 291
8.3 去噪自動(dòng)編碼機(jī)的Theano實(shí)現(xiàn) 298
第9章 堆疊自動(dòng)編碼機(jī) 307
9.1 堆疊去噪自動(dòng)編碼機(jī) 308
9.2 TensorFlow實(shí)現(xiàn) 322
9.3 Theano實(shí)現(xiàn) 341
第10章 受限玻爾茲曼機(jī) 344
10.1 受限玻爾茲曼機(jī)原理 344
10.1.1 網(wǎng)絡(luò)架構(gòu) 344
10.1.2 能量模型 346
10.1.3 CD-K算法 351
10.2 受限玻爾茲曼機(jī)TensorFlow實(shí)現(xiàn) 353
10.3 受限玻爾茲曼機(jī)Theano實(shí)現(xiàn) 362
第11章 深度信念網(wǎng)絡(luò) 381
11.1 深度信念網(wǎng)絡(luò)原理 381
11.2 深度信念網(wǎng)絡(luò)TensorFlow實(shí)現(xiàn) 382
11.3 深度信念網(wǎng)絡(luò)Theano實(shí)現(xiàn) 403
第四部分 機(jī)器學(xué)習(xí)基礎(chǔ)
第12章 生成式學(xué)習(xí) 420
12.1 高斯判別分析 422
12.1.1 多變量高斯分布 422
12.1.2 高斯判決分析公式 423
12.2 樸素貝葉斯 436
12.2.1 樸素貝葉斯分類(lèi)器 436
12.2.2 拉普拉斯平滑 439
12.2.3 多項(xiàng)式事件模型 441
第13章 支撐向量機(jī) 444
13.1 支撐向量機(jī)概述 444
13.1.1 函數(shù)間隔和幾何間隔 445
13.1.2 最優(yōu)距離分類(lèi)器 448
13.2 拉格朗日對(duì)偶 448
13.3 最優(yōu)分類(lèi)器算法 450
13.4 核方法 453
13.5 非線性可分問(wèn)題 455
13.6 SMO算法 457
13.6.1 坐標(biāo)上升算法 458
13.6.2 SMO算法詳解 458
第五部分 深度學(xué)習(xí)平臺(tái)API
第14章 Python Web編程 462
14.1 Python Web開(kāi)發(fā)環(huán)境搭建 462
14.1.1 CherryPy框架 463
14.1.2 CherryPy安裝 463
14.1.3 測(cè)試CherryPy安裝是否成功 464
14.2 最簡(jiǎn)Web服務(wù)器 465
14.2.1 程序啟動(dòng) 465
14.2.2 顯示HTML文件 466
14.2.3 靜態(tài)內(nèi)容處理 468
14.3 用戶認(rèn)證系統(tǒng) 471
14.4 AJAX請(qǐng)求詳解 473
14.4.1 添加數(shù)據(jù) 474
14.4.2 修改數(shù)據(jù) 476
14.4.3 刪除數(shù)據(jù) 478
14.4.4 REST服務(wù)實(shí)現(xiàn) 479
14.5 數(shù)據(jù)持久化技術(shù) 487
14.5.1 環(huán)境搭建 487
14.5.2 數(shù)據(jù)庫(kù)添加操作 488
14.5.3 數(shù)據(jù)庫(kù)修改操作 489
14.5.4 數(shù)據(jù)庫(kù)刪除操作 490
14.5.5 數(shù)據(jù)庫(kù)查詢操作 491
14.5.6 數(shù)據(jù)庫(kù)事務(wù)操作 492
14.5.7 數(shù)據(jù)庫(kù)連接池 494
14.6 任務(wù)隊(duì)列 499
14.7 媒體文件上傳 502
14.8 Redis操作 504
14.8.1 Redis安裝配置 504
14.8.2 Redis使用例程 505
第15章 深度學(xué)習(xí)云平臺(tái) 506
15.1 神經(jīng)網(wǎng)絡(luò)持久化 506
15.1.1 數(shù)據(jù)庫(kù)表設(shè)計(jì) 506
15.1.2 整體目錄結(jié)構(gòu) 511
15.1.3 訓(xùn)練過(guò)程及模型文件保存 512
15.2 神經(jīng)網(wǎng)絡(luò)運(yùn)行模式 528
15.3 AJAX請(qǐng)求調(diào)用神經(jīng)網(wǎng)絡(luò) 531
15.3.1 顯示靜態(tài)網(wǎng)頁(yè) 531
15.3.2 上傳圖片文件 540
15.3.3 AJAX接口 543
15.4 請(qǐng)求合法性驗(yàn)證 545
15.4.1 用戶注冊(cè)和登錄 546
15.4.2 客戶端生成請(qǐng)求 553
15.4.3 服務(wù)器端驗(yàn)證請(qǐng)求 555
15.5 異步結(jié)果處理 557
15.5.1 網(wǎng)頁(yè)異步提交 557
15.5.2 應(yīng)用隊(duì)列管理模塊 559
15.5.3 任務(wù)隊(duì)列 560
15.5.4 結(jié)果隊(duì)列 561
15.5.5 異步請(qǐng)求處理流程 562
15.6 神經(jīng)網(wǎng)絡(luò)持續(xù)改進(jìn) 563
15.6.1 應(yīng)用遺傳算法 563
15.6.2 重新訓(xùn)練 564
15.6.3 生成式對(duì)抗網(wǎng)絡(luò) 565
后 記 567
參考文獻(xiàn) 568
新書(shū)資訊