深度神經網絡是近年來受到廣泛關注的研究方向, 它已成為人工智能2.0的主要組成部分。本書系統地論述了深度神經網絡基本理論、算法及應用。全書共十六章, 分為兩個部分; 第一部分 (第一章到第十章) 系統論述了理論及算法, 包括深度前饋神經網絡、深度卷積神經網絡、深度堆棧神經網絡、深度遞歸神經網絡、深度生成網絡、深度融合網絡等; 第二部分 (第十一章到第十五章) 論述了常用的深度學習平臺, 以及在高光譜圖像、自然圖像、SAR與極化SAR影像等領域的應用; 第十六章為總結與展望, 給出了深度學習發展的歷史圖、前沿方及最新進展。每章都附有相關閱讀材料及仿真代碼, 以便有興趣的讀者進一步鉆研探索。
《深度學習、優化與識別》的特色
深度學習是計算機科學與人工智能的重要組成部分。全書16章，分為理論與實踐應用兩部分，同時介紹5種深度學習主流平臺的特性與應用，后給出了深度學習的前沿進展介紹，另附帶47種相關網絡模型的實現代碼。本書具有以下的特點：
一、內容系統全面
《深度學習、優化與識別》共16章，覆蓋了深度學習當前出現的諸多經典框架或模型，《深度學習、優化與識別》分為兩個部分。《深度學習、優化與識別》第一部分系統地從數據、模型、優化目標函數和求解等四個方面論述了深度學習的理論及算法，如卷積神經網絡、深度生成模型等；第二部分基于5種主流的深度學習平臺給出了深度網絡在自然圖像、衛星遙感影像等領域的應用，如分類、變化檢測、目標檢測與識別等任務。另外給出了深度學習發展的脈絡圖及新研究進展，提供可基于5種平臺實現的47中深度網絡代碼，以便有興趣的讀者進一步鉆研探索。
二、敘述立場客觀
作為深度學習的入門教材，盡可能不帶偏見地對材料進行分析、加工以及客觀介紹。《深度學習、優化與識別》理論部分均從模型產生的本源來介紹，并給出各個經典模型之間內在的相互聯系。《深度學習、優化與識別》實踐應用部分對相關任務做了詳盡的分析，并給出深度學習應用實踐的經驗總結。
三、設計裝幀精美
《深度學習、優化與識別》設計人性化，文字、公式、數學符號混排格式美觀精致，特別是，《深度學習、優化與識別》全書采用全彩印制，軟精裝裝幀。封面設計清新卻不脫俗、學術化，足可以看出出版社和作者的用心。
序
從1308年加泰羅尼亞詩人、神學家雷蒙·盧爾(Ramon Llull)發表了有關用機械方法從一系列現象中創造新知識的論文開始，到1943年美國心理學家W.S. McCulloch和數學家W.Pitts提出MP模型及1950年A.Turing提出著名的圖靈測試，再到1956年達特茅斯會議上人工智能的誕生，神經網絡幾經沉浮，走過了艱難曲折的歷程； 2006年從單隱層神經網絡到深度神經網絡模型，迎來了神經網絡發展的又一高潮，深度學習及其應用受到了前所未有的重視與關注，世界迎來又一輪人工智能變革的高潮，從谷歌腦到中國腦科學計劃，再到互聯網+和中國人工智能2.0，人工智能及深度學習也首次寫進了2017年全國人民代表大會第十五次會議國務院政府工作報告。深度學習是人工智能及機器學習的一個重要方向，在未來，它將會不斷出現激動人心的理論進展和方法實踐，深刻影響我們生活的方方面面。
隨著研究的不斷深入，深度學習已經超越了目前機器學習模型的神經科學觀點，學習多層次組合的這一設計原則更加吸引人。從第一代的深度前饋神經網絡開始，隨之而來的就有如下三個問題： 一是可用訓練數據量遠小于模型中的參數量，容易出現過(欠)擬合現象； 二是隨著層級的增加，模型的優化目標函數呈現高度非凸性，由于待優化參數所在的可行域中存在著大量的鞍點和局部極小值點，所以參數初始化策略影響著網絡模型的穩定性和收斂性； 三是基于誤差的反向傳播算法越靠近輸出層變化越大，越靠近輸入層變化越小，這對通過梯度下降方式來實現逐層參數更新會導致梯度彌散現象。為了解決第一個問題便提出了深度卷積神經網絡和深度循環神經網絡，其核心均是通過約減參數量間接提升數據量的方式降低過擬合現象的發生； 針對第二個問題和第三個問題便引入了基于自編碼器的逐層初始化策略，以期獲取的初始化參數能夠避免過早地陷入局部最優，同時弱化或克服梯度彌散現象，例如基于受限波爾茲曼機的深度置信網絡。進一步，基于傳統的機器學習算法來實現參數初始化方向上涌現了如深度PCA網絡、深度ICA網絡、深度SVM網絡、深度森林(隨機森林多層級聯)、深度極限學習機和深度ADMM網絡等模型。同時與之類似的，通過更改非線性函數以換取模型“扭曲”能力的提升，產生了如深度小波網絡、深度脊波網絡和深度輪廓波網絡等模型。根據其特性，我們稱這些網絡為深度融合網絡。2014年以來，大量的研究文獻表明層級“深度”的不斷增加，或導致性能顯著提升(如深度殘差網絡、深度分形網絡)，抑或導致性能嚴重下降(本質上是參數量遠大于訓練數據量)。為了解決該問題，一方面通過多通路、并行化的網絡設計來削弱“深度”對性能的依賴性，同時塔式結構、對稱性等也被融入網絡的設計過程中； 另一方面，深度生成模型也悄然興起，其核心是通過生成訓練數據集的概率密度函數來實現數據的擴充，其代表便是生成式對抗網絡和變分自編碼器。值得注意的是，與傳統的深度學習設計“單網絡”不同，生成式對抗網絡采用了“兩個子網絡”來實現非合作狀態下的博弈，在最小最大值定理的保證下，理論上可以保證網絡的收斂性。除了模型結構和優化策略改進外，應用問題背景也不再是經典的輸入輸出“單數據對”刻畫，而是從狀態到行動“整體性”刻畫。眾所周知，感知、認知和決策是衡量智能化的標準，充分發揮深度學習的感知能力和強化學習的決策能力，形成的深度強化學習已在眾多應用問題上取得突破，如無人駕駛、計算機圍棋程序和智能機器人等。在后深度學習時代，其核心在于生成數據、環境交互和領域遷移，對應著深度生成網絡、深度強化學習和深度遷移學習將繼續成為人工智能領域的研究熱點。另外，根據數據的屬性和操作的有效性，衍生的網絡包括深度復數域神經網絡(如深度復卷積神經網絡)、深度二值神經網絡和深度脈沖神經網絡等。
我們依托智能感知與圖像理解教育部重點實驗室、智能感知與計算國際聯合實驗室及智能感知與計算國際聯合研究中心于2014年成立了類腦計算與深度學習研究中心，致力于類腦計算與深度學習的基礎與應用研究，搭建了多個深度學習應用平臺，并在深度學習理論、應用及實現等方面取得了突破性的進展，本書即是我們在該領域研究工作的初步總結。
本書的完成離不開團隊多位老師和研究生的支持與幫助，感謝團隊中侯彪、劉靜、公茂果、王爽、張向榮、吳建設、緱水平、尚榮華、劉波、劉若辰等教授以及馬晶晶、馬文萍、白靜、朱虎明、田小林、張小華、曹向海等副教授對本工作的關心支持與辛勤付出。感謝王蓉芳博士、馮捷博士、張丹老師，以及唐旭、劉芳、謝雯、任博、魏野、王善峰、馮志璽等博士生在學術交流過程中無私的付出與生活上的關心。同時，特別感謝趙佳琦、劉旭、趙暐、朱浩、孫其功、任仲樂、李娟飛、張雅科、宋瑋、張文華等博士生，以及馬麗媛、楊爭艷、張婷、李晰、孟繁榮、汶茂寧、侯瑤琪、孫瑩瑩、張佳琪、楊慧、王美玲等研究生在寫作過程中無私付出的辛勤勞動與努力。感謝宋瑋、張文華等博士生幫忙校勘時發現了許多筆誤。
本書是我們團隊在該領域工作的一個小結，也匯聚了西安電子科技大學智能感知與圖像理解教育部重點實驗室、智能感知與計算國際聯合實驗室及智能感知與計算國際聯合研究中心的集體智慧。在本書出版之際，特別感謝邱關源先生及保錚院士三十多年來的悉心培養與教導，特別感謝徐宗本院士、張鈸院士、李衍達院士、郭愛克院士、鄭南寧院士、譚鐵牛院士、馬遠良院士、包為民院士、郝躍院士、陳國良院士、韓崇昭教授，IEEE Fellows管曉宏教授、張青富教授、張軍教授、姚新教授、劉德榮教授、金耀初教授、周志華教授、李學龍教授、吳楓教授、田捷教授、屈嶸教授、李軍教授和張艷寧教授，以及馬西奎教授、潘泉教授、高新波教授、石光明教授、李小平教授、陳莉教授、王磊教授等多年來的關懷、幫助與指導，感謝教育部創新團隊和國家“111”創新引智基地的支持； 同時，我們的工作也得到西安電子科技大學領導及國家“973”計劃(2013CB329402)、國家自然科學基金(61573267，61472306，61671305，61573267，61473215，61571342，61572383，61501353，61502369，61271302，61272282，61202176)、重大專項計劃(91438201，91438103)等科研任務的支持，特此感謝。同時特別感謝清華大學出版社的大力支持和幫助，感謝王芳老師和薛陽老師付出的辛勤勞動與努力。感謝書中所有被引用文獻的作者。
20世紀90年代初我們出版了《神經網絡系統理論》《神經網絡計算》《神經網絡的應用與實現》等系列專著，三十年來神經網絡取得了長足的進展，本書的取材和安排完全是作者的偏好，由于水平有限，書中不妥之處懇請廣大讀者批評指正。
著者
2017年3月
西安電子科技大學
焦李成，男，漢族，1959年10月生，1992年起任西安電子科技大學教授。現任智能感知與計算國際聯合研究中心主任、智能感知與圖像理解教育部重點實驗室主任、智能感知與計算國際合作聯合實驗室主任、“智能信息處理科學與技術”高等學校學科創新引智基地（“111計劃”）主任、教育部科技委國際合作部學部委員、中國人工智能學會副理事長、IET西安分會主席、IEEE西安分會獎勵委員會主席、IEEE計算智能協會西安分會主席、IEEEGRSS西安分會主席，IEEETGRS副主編、教育部創新團隊首席專家。國務院學位委員會學科評議組成員、教育部本科教學水平評估專家。1991年被批準為享受國務院政府津貼的專家，1996年首批入選國家“百千萬”人才工程。當選為全國模范教師、陜西省師德標兵和曾任第八屆全國人大代表。
焦李成教授的主要研究方向為智能感知與計算、圖像理解與目標識別、深度學習與類腦計算，培養的十余名博士獲全國優秀博士學位論文獎、提名獎及陜西省優秀博士論文獎。研究成果獲包括國家自然科學獎二等獎及省部級一等獎以上科技獎勵十余項，出版學術專著十余部，五次獲國家優秀科技圖書獎勵及全國首屆三個一百優秀圖書獎。所發表的論著被他人引用超過25000余篇次，H指數為65。
目錄
第1章深度學習基礎
1.1數學基礎
1.1.1矩陣論
1.1.2概率論
1.1.3優化分析
1.1.4框架分析
1.2稀疏表示
1.2.1稀疏表示初步
1.2.2稀疏模型
1.2.3稀疏認知學習、計算與識別的范式
1.3機器學習與神經網絡
1.3.1機器學習
1.3.2神經網絡
參考文獻
第2章深度前饋神經網絡
2.1神經元的生物機理
2.1.1生物機理
2.1.2單隱層前饋神經網絡
2.2多隱層前饋神經網絡
2.3反向傳播算法
2.4深度前饋神經網絡的學習范式
參考文獻
第3章深度卷積神經網絡
3.1卷積神經網絡的生物機理及數學刻畫
3.1.1生物機理
3.1.2卷積流的數學刻畫
3.2深度卷積神經網絡
3.2.1典型網絡模型與框架
3.2.2學習算法及訓練策略
3.2.3模型的優缺點分析
3.3深度反卷積神經網絡
3.3.1卷積稀疏編碼
3.3.2深度反卷積神經網絡
3.3.3網絡模型的性能分析與應用舉例
3.4全卷積神經網絡
3.4.1網絡模型的數學刻畫
3.4.2網絡模型的性能分析及應用舉例
參考文獻
第4章深度堆棧自編碼網絡
4.1自編碼網絡
4.1.1逐層學習策略
4.1.2自編碼網絡
4.1.3自編碼網絡的常見范式
4.2深度堆棧網絡
4.3深度置信網絡/深度玻爾茲曼機網絡
4.3.1玻爾茲曼機/受限玻爾茲曼機
4.3.2深度玻爾茲曼機/深度置信網絡
參考文獻
第5章稀疏深度神經網絡
5.1稀疏性的生物機理
5.1.1生物視覺機理
5.1.2稀疏性響應與數學物理描述
5.2稀疏深度網絡模型及基本性質
5.2.1數據的稀疏性
5.2.2稀疏正則
5.2.3稀疏連接
5.2.4稀疏分類器設計
5.2.5深度學習中關于稀疏的技巧與策略
5.3網絡模型的性能分析
5.3.1稀疏性對深度學習的影響
5.3.2對比試驗及結果分析
參考文獻
第6章深度融合網絡
6.1深度SVM網絡
6.1.1從神經網絡到SVM
6.1.2網絡模型的結構
6.1.3訓練技巧
6.2深度PCA網絡
6.3深度ADMM網絡
6.4深度極限學習機
6.4.1極限學習機
6.4.2深度極限學習機
6.5深度多尺度幾何網絡
6.5.1深度脊波網絡
6.5.2深度輪廓波網絡
6.6深度森林
6.6.1多分辨特性融合
6.6.2級聯特征深度處理
參考文獻
第7章深度生成網絡
7.1生成式對抗網絡的基本原理
7.1.1網絡模型的動機
7.1.2網絡模型的數學物理描述
7.2深度卷積對抗生成網絡
7.2.1網絡模型的基本結構
7.2.2網絡模型的性能分析
7.2.3網絡模型的典型應用
7.3深度生成網絡模型的新范式
7.3.1生成式對抗網絡的新范式
7.3.2網絡框架的性能分析與改進
7.4應用驅動下的兩種新生成式對抗網絡
7.4.1堆棧生成式對抗網絡
7.4.2對偶學習范式下的生成式對抗網絡
7.5變分自編碼器
參考文獻
第8章深度復卷積神經網絡與深度二值神經網絡
8.1深度復卷積神經網絡
8.1.1網絡模型構造的動機
8.1.2網絡模型的數學物理描述
8.2深度二值神經網絡
8.2.1網絡基本結構
8.2.2網絡的數學物理描述
8.2.3討論
參考文獻
第9章深度循環和遞歸神經網絡
9.1深度循環神經網絡
9.1.1循環神經網絡的生物機理
9.1.2簡單的循環神經網絡
9.1.3深度循環神經網絡的數學物理描述
9.2深度遞歸神經網絡
9.2.1簡單的遞歸神經網絡
9.2.2深度遞歸神經網絡的優勢
9.3長短時記憶神經網絡
9.3.1改進動機分析
9.3.2長短時記憶神經網絡的數學分析
9.4典型應用
9.4.1深度循環神經網絡的應用舉例
9.4.2深度遞歸神經網絡的應用舉例
參考文獻
第10章深度強化學習
10.1深度強化學習簡介
10.1.1深度強化學習的基本思路
10.1.2發展歷程
10.1.3應用新方向
10.2深度Q網絡
10.2.1網絡基本模型與框架
10.2.2深度Q網絡的數學分析
10.3應用舉例——AlphaGo
10.3.1AlphaGo原理分析
10.3.2深度強化學習性能分析
參考文獻
第11章深度學習軟件仿真平臺及開發環境
11.1Caffe平臺
11.1.1Caffe平臺開發環境
11.1.2AlexNet神經網絡學習
11.1.3AlexNet神經網絡應用于圖像分類
11.2TensorFlow平臺
11.2.1TensorFlow平臺開發環境
11.2.2深度卷積生成式對抗網DCGAN
11.2.3DAN應用于樣本擴充
11.3MXNet平臺
11.3.1MXNet平臺開發環境
11.3.2VGGNET深度神經網絡學習
11.3.3圖像分類應用任務
11.4Torch 7平臺
11.4.1Torch 7平臺開發環境
11.4.2二值神經網絡
11.4.3二值神經網絡應用于圖像分類
11.5Theano平臺
11.5.1Theano平臺開發環境
11.5.2遞歸神經網絡
11.5.3LSTM應用于情感分類任務
參考文獻
第12章基于深度神經網絡的SAR/PolSAR影像地物分類
12.1數據集及研究目的
12.1.1數據集特性分析
12.1.2基本數據集
12.1.3研究目的
12.2基于深度神經網絡的SAR影像地物分類
12.2.1基于自適應自編碼和超像素的SAR圖像分類
12.2.2基于卷積中層特征學習的SAR圖像分類
12.3基于第一代深度神經網絡的PolSAR影像地物分類
12.3.1基于稀疏極化DBN的極化SAR地物分類
12.3.2基于深度PCA網絡的極化SAR影像地物分類
12.4基于第二代深度神經網絡的PolSAR影像地物分類
12.4.1基于深度復卷積網絡的PolSAR影像地物分類
12.4.2基于生成式對抗網的PolSAR影像地物分類
12.4.3基于深度殘差網絡的PolSAR影像地物分類
參考文獻
第13章基于深度神經網絡的SAR影像的變化檢測
13.1數據集特點及研究目的
13.1.1研究目的
13.1.2數據基本特性
13.1.3典型數據集
13.2基于深度學習和SIFT特征的SAR圖像變化檢測
13.2.1基本方法與實現策略
13.2.2對比試驗結果分析
13.3基于SAE的SAR圖像變化檢測
13.3.1基本方法與實現策略
13.3.2實驗結果和分析
13.4基于CNN的SAR圖像變化檢測
13.4.1基本方法與實現策略
13.4.2對比試驗結果分析
參考文獻
第14章基于深度神經網絡的高光譜圖像分類與壓縮
14.1數據集及研究目的
14.1.1高光譜遙感技術
14.1.2高光譜遙感的研究目的
14.1.3常用的高光譜數據集
14.2基于深度神經網絡的高光譜影像的分類
14.2.1基于堆棧自編碼的高光譜影像的分類
14.2.2基于卷積神經網絡的高光譜影像的分類
14.3基于深度神經網絡的高光譜影像的壓縮
14.3.1基于深度自編碼網絡的高光譜圖像壓縮方法
14.3.2實驗設計及分類結果
參考文獻
第15章基于深度神經網絡的目標檢測與識別
15.1數據特性及研究目的
15.1.1研究目的
15.1.2常用數據集
15.2基于快速CNN的目標檢測與識別
15.2.1RCNN
15.2.2Fast RCNN
15.2.3Faster RCNN
15.2.4對比實驗結果與分析
15.3基于回歸學習的目標檢測與識別
15.3.1YOLO
15.3.2SSD
15.3.3對比實驗結果與分析
15.4基于學習搜索的目標檢測與識別
15.4.1基于深度學習的主動目標定位
15.4.2AttentionNet
15.4.3對比實驗結果與分析
參考文獻
第16章總結與展望
16.1深度學習發展歷史圖
16.1.1從機器學習、稀疏表示學習到深度學習
16.1.2深度學習、計算與認知的范式演進
16.1.3深度學習形成脈絡
16.2深度學習的應用介紹
16.2.1目標檢測與識別
16.2.2超分辨
16.2.3自然語言處理
16.3深度神經網絡的可塑性
16.3.1旋轉不變性
16.3.2平移不變性
16.3.3多尺度、多分辨和多通路特性
16.3.4稀疏性
16.4基于腦啟發式的深度學習前沿方向
16.4.1生物神經領域關于認知、識別、注意等的最新研究進展
16.4.2深度神經網絡的進一步研究方向
16.4.3深度學習的可拓展性
參考文獻
附錄A基于深度學習的常見任務處理介紹
附錄B代碼介紹
新書資訊