全書共有9 章。第1 章介紹了圖像融合的定義、發展歷史、研究現狀和分類，讓讀者對圖像融合有一個直觀的認識。第2 章從研究背景與意義、研究現狀、評價體系三個角度講述了遙感圖像融合的基礎知識。第3～8 章系統地介紹了各種圖像融合方法。第9 章結合圖像融合的具體應用實例，介紹了圖像融合的應用，并且對未來的發展進行了展望。本書可作為高等院校高年級本科生、研究生學習圖像融合技術的教材和教學參考書，也可作為從事圖像融合研究和應用的科技人員的參考書。
方發明，博士，華東師范大學計算機科學與技術學院視覺與機器智能研究所副所長、教授、博士生導師，上海市"啟明星計劃”獲得者，"晨光學者”。2013年6月于華東師范大學計算機系獲工學博士學位。主要研究方向為機器學習、圖像處理。圍繞遙感/醫學圖像恢復、增強、識別、以及三維重建等展開理論和應用研究。工作受到國家自然科學基金重點、面上、NSFC-RGC、上海市"啟明星計劃”、"晨光計劃”、上海市自然科學基金等8項縱向基金支持；并主持多項企事業單位聯合項目。相關成果發表在國際頂級雜志/會議上(共四十余篇，中科院1區/CCFA 20余篇，發表期刊會議主要包括：IEEE TC、TIP、TNNLS、TMM、TGRS、TVCG、TCSVT、NeurIPS、CVPR、ICCV、ECCV等）。任IEEE TIP、TGRS、TMM、TVCG、CVPR、ICCV、AAAI等多個期刊與會議的審稿人和程序委員。
第1 章走進圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1
1.1 什么是圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 圖像融合的發展歷史與研究現狀. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2
1.3 圖像融合分類. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.1 按融合層次分類. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.2 按融合圖像源分類. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
第2 章遙感圖像融合基礎知識. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1 遙感圖像融合的研究背景與意義. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1 高分辨率遙感技術的發展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.2 遙感衛星圖像的特點. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.3 遙感圖像融合的研究意義. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2 全色銳化的主流方法及研究現狀. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.1 分量替換（CS）. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19
2.2.2 多分辨率分析（MRA） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2.3 模型求解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.4 深度學習. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 全色銳化評價體系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.1 降分辨率評估. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.2 原分辨率評估. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
第3 章基于金字塔變換的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37
3.2 常見圖像金字塔變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.1 高斯金字塔變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.2 拉普拉斯金字塔變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2.3 比率低通金字塔變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.4 對比度金字塔變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.5 梯度金字塔變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.3 基于金字塔變換的圖像融合方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.3.1 基于拉普拉斯金字塔變換的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . .43
3.3.2 基于比率低通金字塔變換的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . .44
3.3.3 基于對比度金字塔變換的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45
3.3.4 基于梯度金字塔變換的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4 實驗結果與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.1 降分辨率分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.4.2 原分辨率分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.5 本章小結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
第4 章基于小波族的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49
4.2 小波變換的基本理論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.2.1 小波族. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.2.2 小波函數與子函數. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.2.3 尺度函數與子函數. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2.4 多分辨率分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2.5 信號分解與重構. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3 基于小波變換的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.3.1 圖像的二維離散小波變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.3.2 圖像融合過程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4 小波選擇. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4.1 多小波. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4.2 輪廓波. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.4.3 剪切波. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.5 實驗結果與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.5.1 降分辨率分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.5.2 原分辨率評估分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.6 本章小結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
第5 章基于智能優化算法的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67
5.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67
5.2 智能優化算法簡介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.2.1 智能優化算法分類. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.2.2 進化算法概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.3 基于貝葉斯網絡及進化算法的全色銳化融合模型. . . . . . . . . . . . . . . . 77
5.3.1 模型構建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.3.2 參數優化. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5.3.3 實驗對比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.4 基于進化算法的IHS 全色銳化融合模型. . . . . . . . . . . . . . . . . . . . . . . . . 86
5.4.1 IHS 融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.4.2 EA-IHS 融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.4.3 組合差分進化優化. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.4.4 實驗對比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.5 基于多目標優化的IHS 全色銳化融合模型. . . . . . . . . . . . . . . . . . . . . . .97
5.5.1 目標函數. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.5.2 NSGA-II 優化. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.5.3 MO-IHS 基本流程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.5.4 實驗對比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.6 本章小結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
第6 章基于能量模型的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
6.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .108
6.2 變分法預備知識. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
6.2.1 泛函定義及性質. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
6.2.2 BV 空間定義及性質. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.2.3 Bregman 迭代和分裂Bregman 迭代. . . . . . . . . . . . . . . . . . . . . . . . . . 111
6.3 變分全色銳化融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
6.3.1 VP 模型構建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
6.3.2 能量極小值存在性分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.3.3 數值算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.3.4 實驗結果與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
6.4 基于Framelet 的全色銳化融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
6.4.1 Framelet 及其圖像表示. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .137
6.4.2 基于Framelet 的全色銳化融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . 142
6.4.3 基于變分法和Framelet 的全色銳化融合模型. . . . . . . . . . . . . . . . . . . 144
6.4.4 實驗結果及分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
6.4.5 VFP 模型與VP 模型的比較. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
6.5 基于貝葉斯后驗概率估計的全色銳化融合模型. . . . . . . . . . . . . . . . . .159
6.5.1 模型構建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
6.5.2 模型求解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
6.5.3 實驗對比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
6.6 本章小結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
第7 章基于深度學習的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
7.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .179
7.2 深度學習基礎理論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.2.1 數據輸入層. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.2.2 卷積計算層. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.2.3 激勵層. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
7.2.4 池化層. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
7.2.5 全連接層. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.2.6 經典架構. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.3 小波系數指導的全色銳化融合網絡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.3.1 網絡構建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.3.2 實驗對比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
7.3.3 消融實驗. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
7.4 基于Framelet 的全色銳化融合網絡. . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
7.4.1 模型構建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
7.4.2 實驗對比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
7.4.3 消融分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
7.5 基于深度展開網絡的全色銳化融合網絡. . . . . . . . . . . . . . . . . . . . . . . . 211
7.5.1 網絡構建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
7.5.2 實驗對比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
7.5.3 消融分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
7.6 本章小結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
第8 章基于顏色遷移的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
8.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .226
8.2 研究背景與研究現狀. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .227
8.2.1 基于涂鴉點的著色. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
8.2.2 基于參考圖像的著色. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
8.2.3 基于深度學習的著色. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
8.3 基于超像素的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
8.3.1 模型構建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
8.3.2 模型求解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
8.3.3 模型分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
8.3.4 實驗對比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
8.4 基于風格遷移的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
8.4.1 網絡構建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
8.4.2 消融實驗. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
8.4.3 實驗對比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
8.5 基于生成對抗網絡的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .274
8.5.1 網絡構建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
8.5.2 實驗對比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
8.6 本章小結. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
第9 章圖像融合的應用與發展趨勢. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .281
9.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .281
9.2 圖像融合的落地應用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .281
9.2.1 遙感圖像融合應用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
9.2.2 圖像融合的其他應用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
9.3 圖像融合的未來發展展望. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
參考文獻. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
縮略詞表. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
新書資訊