本書介紹了深度學習相關的原理與應用，全書共分為三大部分，第一部分主要回顧了深度學習的發展歷史，以及Theano的使用；第二部分詳細講解了與深度學習相關的基礎知識，包括線性代數、概率論、概率圖模型、機器學習和最優化算法；在第三部分中，針對若干核心的深度學習模型，如自編碼器、受限玻爾茲曼機、遞歸神經網絡和卷積神經網絡等進行詳細的原理分析與講解，并針對不同的模型給出相應的具體應用。本書適合有一定高等數學、機器學習和Python編程基礎的在校學生、高校研究者或在企業中從事深度學習的工程師使用，書中對模型的原理與難點進行了深入分析，在每一章的最后都提供了詳細的參考文獻，讀者可以對相關的細節進行更深入的研究。最后，理論與實踐相結合，本書針對常用的模型分別給出了相應的應用，讀者也可以在Github中下載和查看本書的代碼(https://github.com/innovation-cat/DeepLearningBook)。
本書的特色在于取舍明確，一切無助于迅速理解深度學習精髓的內容全被摒棄了，并著重闡述了技術上的重點和難點；表達上深入淺出：即便是從未接觸過AI知識的人，也能從作者簡明清晰的表述中，一窺深度學習的殿堂。
對任何一位想成為AI/深度學習領域工程師的讀者來說，《深入淺出深度學習：原理剖析與Python實踐》能幫你迅速打開AI的大門，并成長為一名合格的AI工程師。
推薦序1
介紹深度學習的書籍不少，但是《深入淺出深度學習：原理剖析與Python實踐》與其他同類書相比，視角明顯不同。如果要給本書寫個宣傳語，或許可以是“深度學習工程師速成培訓教材”。本書對讀者的知識結構有兩點要求：一是學過高等數學，二是熟悉 Python 編程。換而言之，各個專業的理工科學生，尤其是學過 Python 編程的，都是此書的目標讀者。
本書內容全面，但是取舍明確，有重點地深入，尤其對于技術的重點難點解釋得很詳細，深入淺出。
本書的特色就在于內容取舍的尺度非常明確——著重于原理的解釋和動手實踐的路徑，但是并不拘泥于細枝末節。
胸中有經緯，就不會迷失在細節的汪洋大海。本書剛好側重于對經緯的梳理。此處的經緯，一類是數學基礎知識，另一類是深度學習技術。與深度學習相關的數學知識包括線性代數、概率統計等。因為概率圖與深度學習結合較多，本書把“概率圖”作為單獨的一章重點講述。深度學習技術包括機器學習的傳統技術、用于訓練神經網絡的梯度下降等算法。本書重點講述了神經網絡的基本算法以及幾種常用的深度網絡架構。
工程師，重在實踐。工欲善其事必先利其器，實踐深度學習，離不開深度學習工具。本書介紹了 Theano 工具集的基本用法。其實深度學習工具，一通百通，各種工具的區別，類似于北京口音與東北口音的區別。
認真讀完此書，讀者應該擁有三項能力：一是讀得懂深度學習的論文；二是讀得懂深度學習的代碼；三是能夠自行開發簡單的深度學習應用。
總結一下，在深度學習技術異�；鸨�，深度學習工程師奇缺的當下，如何快速培養深度學習方向的工程師，是一個迫切的問題。此書是難得的好教材。
鄧侃博士
黃安埠，2012年畢業于清華大學，獲碩士學位，在校期間活躍于TopCoder等編程競賽社區�，F為騰訊基礎研究高級工程師，研究領域包括個性化推薦、自然語言處理和大規模的相似度優化計算，特別是對于深度學習在推薦系統的應用有深入的研究，并申請了國內十余項相關專利。
第1 部分 概要 1
1 緒論 2
1.1 人工智能、機器學習與深度學習的關系 3
1.1.1 人工智能——機器推理 4
1.1.2 機器學習——數據驅動的科學 5
1.1.3 深度學習——大腦的仿真 8
1.2 深度學習的發展歷程 8
1.3 深度學習技術概述 10
1.3.1 從低層到高層的特征抽象 11
1.3.2 讓網絡變得更深 13
1.3.3 自動特征提取 14
1.4 深度學習框架 15
2 Theano 基礎 19
2.1 符號變量 20
2.2 符號計算的抽象——符號計算圖模型 23
2.3 函數 26
2.3.1 函數的定義 26
2.3.2 Logistic回歸 27
2.3.3 函數的復制 29
2.4 條件表達式 31
2.5 循環 32
2.6 共享變量 39
2.7 配置 39
2.7.1 通過THEANO_FLAGS配置 40
2.7.2 通過. theanorc文件配置 41
2.8 常用的Debug技巧 42
2.9 小結 43
第2 部分 數學與機器學習基礎篇 45
3 線性代數基礎 46
3.1 標量、向量、矩陣和張量 46
3.2 矩陣初等變換 47
3.3 線性相關與向量空間 48
3.4 范數 49
3.4.1 向量范數 49
3.4.2 矩陣范數 53
3.5 特殊的矩陣與向量 56
3.6 特征值分解 57
3.7 奇異值分解 58
3.8 跡運算 60
3.9 樣例：主成分分析 61
4 概率統計基礎 64
4.1 樣本空間與隨機變量 65
4.2 概率分布與分布函數 65
4.3 一維隨機變量 66
4.3.1 離散型隨機變量和分布律 66
4.3.2 連續型隨機變量和概率密度函數 67
4.4 多維隨機變量 68
4.4.1 離散型二維隨機變量和聯合分布律 69
4.4.2 連續型二維隨機變量和聯合密度函數 69
4.5 邊緣分布 70
4.6 條件分布與鏈式法則 71
4.6.1 條件概率 71
4.6.2 鏈式法則 73
4.7 多維隨機變量的獨立性分析 73
4.7.1 邊緣獨立 74
4.7.2 條件獨立 74
4.8 數學期望、方差、協方差 75
4.8.1 數學期望 75
4.8.2 方差 76
4.8.3 協方差 76
4.8.4 協方差矩陣 78
4.9 信息論基礎 81
4.9.1 信息熵 81
4.9.2 條件熵 83
4.9.3 互信息 84
4.9.4 相對熵與交叉熵 84
5 概率圖模型 87
5.1 生成模型與判別模型 89
5.2 圖論基礎 90
5.2.1 圖的結構 90
5.2.2 子圖 91
5.2.3 路徑、跡、環與拓撲排序 92
5.3 貝葉斯網絡 95
5.3.1 因子分解 96
5.3.2 局部馬爾科夫獨立性斷言 99
5.3.3 I-Map與因子分解 100
5.3.4 有效跡 103
5.3.5 D-分離與全局馬爾科夫獨立性 108
5.4 馬爾科夫網絡 108
5.4.1 勢函數因子與參數化表示 109
5.4.2 馬爾科夫獨立性 111
5.5 變量消除 114
5.6 信念傳播 116
5.6.1 聚類圖 116
5.6.2 團樹 120
5.6.3 由變量消除構建團樹 123
5.7 MCMC采樣原理 126
5.7.1 隨機采樣 127
5.7.2 隨機過程與馬爾科夫鏈 128
5.7.3 MCMC采樣 132
5.7.4 Gibbs采樣 134
5.8 參數學習 137
5.8.1 最大似然估計 137
5.8.2 期望最大化算法 138
5.9 小結 140
6 機器學習基礎 142
6.1 線性模型 143
6.1.1 線性回歸 143
6.1.2 Logistic回歸 148
6.1.3 廣義的線性模型 150
6.2 支持向量機 151
6.2.1 最優間隔分類器 152
6.2.2 對偶問題 155
6.2.3 核函數 156
6.3 樸素貝葉斯 160
6.4 樹模型 162
6.4.1 特征選擇 163
6.4.2 剪枝策略 165
6.5 聚類 166
6.5.1 距離度量 167
6.5.2 層次聚類 168
6.5.3 K-means聚類 171
6.5.4 譜聚類 172
7 數值計算與最優化 177
7.1 無約束極小值的最優化條件 177
7.2 梯度下降 179
7.2.1 傳統更新策略 181
7.2.2 動量更新策略 183
7.2.3 改進的動量更新策略 184
7.2.4 自適應梯度策略 187
7.3 共軛梯度 188
7.4 牛頓法 192
7.5 擬牛頓法 194
7.5.1 擬牛頓條件 194
7.5.2 DFP算法 195
7.5.3 BFGS算法 196
7.5.4 L-BFGS算法 197
7.6 約束最優化條件 200
第3 部分 理論與應用篇 205
8 前饋神經網絡 206
8.1 生物神經元結構 207
8.2 人工神經元結構 208
8.3 單層感知機 209
8.4 多層感知機 212
8.5 激活函數 217
8.5.1 激活函數的作用 217
8.5.2 常用的激活函數 219
9 反向傳播與梯度消失 225
9.1 經驗風險最小化 227
9.2 梯度計算 228
9.2.1 輸出層梯度 228
9.2.2 隱藏層梯度 230
9.2.3 參數梯度 234
9.3 反向傳播 235
9.4 深度學習訓練的難點 237
9.4.1 欠擬合——梯度消失 237
9.4.2 過擬合 240
10 自編碼器及其相關模型 243
10.1 自編碼器 243
10.2 降噪自編碼器 245
10.3 棧式自編碼器 247
10.4 稀疏編碼器 250
10.5 應用：cifar10圖像分類 254
11 玻爾茲曼機及其相關模型 258
11.1 玻爾茲曼機 258
11.2 能量模型 261
11.2.1 能量函數 261
11.2.2 從能量函數到勢函數 262
11.2.3 從勢函數到概率分布 263
11.3 推斷 264
11.3.1 邊緣分布 265
11.3.2 條件分布 267
11.4 學習 270
11.4.1 最大似然估計 271
11.4.2 對比散度 274
11.5 應用：個性化推薦 276
11.5.1 個性化推薦概述 276
11.5.2 個性化推薦架構與算法 279
11.5.3 RBM與協同過濾 285
12 遞歸神經網絡 291
12.1 Elman遞歸神經網絡 292
12.2 時間反向傳播 295
12.3 長短時記憶網絡 299
12.4 結構遞歸神經網絡 302
12.5 應用：語言模型 308
12.5.1 N元統計模型 308
12.5.2 基于LSTM 構建語言模型 312
13 卷積神經網絡 318
13.1 卷積運算 319
13.2 網絡結構 320
13.3 卷積層 324
13.4 池化層 329
13.5 應用：文本分類 333
新書資訊