《信息論與編碼》重點(diǎn)介紹由香農(nóng)理論發(fā)展而來的信息論的基本理論，它主要應(yīng)用概率論、隨機(jī)過程和現(xiàn)代數(shù)理統(tǒng)計方法，來研究信息提取、傳輸和處理的一般規(guī)律，提高信息系統(tǒng)的有效性和可靠性。
《信息論與編碼》分9章，以信息熵為基本概念，以香農(nóng)理論的3個基本定理為核心，系統(tǒng)地講述香農(nóng)信息論的基本理論，主要內(nèi)容包括離散信息和連續(xù)信息的度量、離散信道和連續(xù)信道的容量、無失真信源編碼定理、有噪信道編碼定理、信息率失真函數(shù)、信道編碼和網(wǎng)絡(luò)信息論。
《信息論與編碼》注重概念，采用通俗的文字，聯(lián)系實(shí)際，用較多的例題闡述基本概念、基本理論及實(shí)現(xiàn)原理。在各章的最后還附有小結(jié)和大量習(xí)題，便于讀者學(xué)習(xí)，加深對概念的理解。
《信息論與編碼》可作為高等院校電子、信息、通信、計算機(jī)、自動化及相關(guān)專業(yè)本科生和研究生的教材，也可供相關(guān)專業(yè)的科技人員參考。
1948年克勞德?艾爾伍德?香農(nóng)在《貝爾系統(tǒng)技術(shù)雜志》（BellSystemTechnicalJournal）上連載發(fā)表了具有深遠(yuǎn)影響的論文《通信的數(shù)學(xué)原理》。1949年，香農(nóng)又在該雜志上發(fā)表了另一篇著名論文《噪聲下的通信》。在這兩篇論文中，香農(nóng)闡明了通信的基本問題，建立了通信系統(tǒng)模型，提出了信息量的數(shù)學(xué)表達(dá)式，并解決了信道容量、信源統(tǒng)計特性、信源編碼、信道編碼等一系列基本技術(shù)問題。這兩篇論文成為信息論的奠基性著作。當(dāng)前信息產(chǎn)業(yè)發(fā)展很快，需要大量信息、通信、電子工程類的專業(yè)人才，而信息論是這些專業(yè)的基礎(chǔ)，必須掌握，它可以指導(dǎo)理論研究和工程應(yīng)用。
本書重點(diǎn)介紹由香農(nóng)理論發(fā)展而來的信息論的基本理論，它應(yīng)用概率論、隨機(jī)過程和現(xiàn)代數(shù)理統(tǒng)計方法來研究信息提取、傳輸和處理的一般規(guī)律，提高信息系統(tǒng)的有效性和可靠性。全書以信息熵為基本概念，以香農(nóng)理論的3個基本定理為核心，系統(tǒng)地講述了香農(nóng)信息論的基本理論，主要內(nèi)容包括離散信息和連續(xù)信息的度量、離散信道和連續(xù)信道的容量、無失真信源編碼定理、有噪信道編碼定理、信息率失真函數(shù)、信道編碼、網(wǎng)絡(luò)信息論等。
本書在自編教材的基礎(chǔ)上，綜合了國內(nèi)外信息論教材和專著。本書于2016年動筆，2018年才最終完成，寫作歷經(jīng)了兩年。本書在編寫過程中，參考了大量的著作和論文，在此表示感謝。本書得到南京航空航天大學(xué)教改項(xiàng)目、國家自然科學(xué)基金（61371169，61631020）、江蘇省自然科學(xué)基金（BK20161489）資助。
本書由南京航空航天大學(xué)張小飛教授、南京郵電大學(xué)邵漢欽博士、南京航空航天大學(xué)徐大專教授和南京航空航天大學(xué)吳啟暉教授執(zhí)筆。邵漢欽博士完成了第9章的內(nèi)容，其他內(nèi)容由張小飛教授等完成。在本書編寫過程中，同時還得到了時娜、楊東林、劉星麟、陳晨、黃殷杰、王方秋、李小宇、李書、張立岑等碩士研究生和博士研究生的幫助。
由于時間倉促和作者水平有限，書中不當(dāng)之處在所難免，敬請讀者批評指正。
編者
2018年3月
張小飛，教授/博導(dǎo)。為中國通信學(xué)會青年工作委員會委員、中國電子學(xué)會教育工作委員會青年組委員、江蘇省科技評估專家和通信工程研究所常務(wù)副所長。為20多家國際會議TPC成員，擔(dān)任10多家刊物的編委；任國際刊物客座主編；受邀做會議主題報告10多次、主持國際會議一次。近年來發(fā)表SCI論文80多篇，ESI高被引論文2篇；出版著作5部，公開專利3項(xiàng)。主持國家自然科學(xué)基金2項(xiàng)，其他項(xiàng)目20多項(xiàng)。獲得通信學(xué)會自然科學(xué)一等獎1項(xiàng)、國防科學(xué)技術(shù)進(jìn)步獎2項(xiàng)、“333”人才計劃、青藍(lán)工程“中青年學(xué)術(shù)帶頭人”、“六大人才高峰”B類、江蘇省航空航天學(xué)會“優(yōu)秀科技工作者”；入選中國百篇*具影響國際學(xué)術(shù)論文。研究方向：移動通信、陣列信號處理、通信信號處理。
第1章 緒論 1
1．1 信息的概念和特性 1
1．2 熵的概念 2
1．3 信息論的基本問題和主要內(nèi)容 3
1．3．1 信息論研究的基本問題 3
1．3．2 信息論的研究內(nèi)容 4
1．4 香農(nóng)簡介 5
1．5 本書結(jié)構(gòu) 6
1．6 本章小結(jié) 7
第2章 數(shù)學(xué)基礎(chǔ) 8
2．1 概率論基礎(chǔ) 8
2．1．1 概率空間 8
2．1．2 隨機(jī)變量與分布函數(shù) 10
2．1．3 多維隨機(jī)變量及其分布 12
2．1．4 數(shù)字特征 16
2．1．5 大數(shù)定律及中心極限定理 19
2．2 馬爾可夫鏈 22
2．2．1 有限狀態(tài)馬氏鏈 22
2．2．2 狀態(tài)轉(zhuǎn)移概率 23
2．2．3 齊次馬氏鏈 23
2．2．4 馬氏鏈的平穩(wěn)分布 25
2．3 凸函數(shù) 26
2．4 本章小結(jié) 28
習(xí)題 28
第3章 信息度量 30
3．1 自信息、條件自信息和聯(lián)合自信息 30
3．1．1 自信息 30
3．1．2 條件自信息 32
3．1．3 聯(lián)合自信息 33
3．2 互信息和信息散度 33
3．2．1 互信息的定義 33
3．2．2 互信息的性質(zhì) 34
3．2．3 條件互信息 35
3．2．4 信息散度 35
3．3 離散集合的平均信息量（熵） 37
3．3．1 信息熵 37
3．3．2 條件熵 38
3．3．3 聯(lián)合熵 38
3．3．4 熵的基本性質(zhì) 39
3．3．5 各類熵的關(guān)系 42
3．3．6 熵函數(shù)的唯一性 44
3．3．7 通信系統(tǒng)中熵的意義 44
3．4 平均互信息 46
3．4．1 平均互信息的定義 46
3．4．2 平均互信息與熵的關(guān)系 46
3．4．3 平均互信息的性質(zhì) 48
3．4．4 多隨機(jī)變量的互信息 53
3．5 本章小結(jié) 59
習(xí)題 61
第4章 信源和熵 64
4．1 信源的分類與數(shù)學(xué)模型 64
4．1．1 信源的分類 64
4．1．2 信源的數(shù)學(xué)模型 64
4．2 離散信源 65
4．2．1 離散無記憶信源和熵 65
4．2．2 離散平穩(wěn)信源和熵 66
4．2．3 馬爾可夫信源 69
4．2．4 信源的冗余度 73
4．3 連續(xù)信源 76
4．3．1 連續(xù)信源的熵與平均互信息 76
4．3．2 連續(xù)隨機(jī)變量信息散度 79
4．3．3 幾種特殊分布連續(xù)信源熵 80
4．3．4 連續(xù)信源最大熵定理 83
4．3．5 熵功率 84
4．3．6 符號持續(xù)時間不同的信源的熵 85
4．4 本章小結(jié) 86
習(xí)題 88
第5章 信道與信道容量 91
5．1 信道的特性及其分類 91
5．1．1 信道模型 91
5．1．2 信道分類 91
5．2 離散信道及其信道容量 92
5．2．1 離散信道數(shù)學(xué)模型 92
5．2．2 離散信道的信道容量 95
5．2．3 多符號離散信道的信道容量 104
5．3 連續(xù)信道及其信道容量 106
5．3．1 加性噪聲信道及其信道容量 106
5．3．2 加性高斯信道和及其信道容量 108
5．3．3 加性非高斯信道及其信道容量 109
5．3．4 并聯(lián)加性高斯信道 112
5．3．5 限頻限功率高斯信道的信道容量 115
5．3．6 香農(nóng)信道編碼定理 118
5．4 本章小結(jié) 120
習(xí)題 121
第6章 無失真信源編碼 124
6．1 信源編碼簡介 124
6．2 離散信源定長編碼 126
6．2．1 典型序列與漸近均分特性 127
6．2．2 定長編碼定理 129
6．2．3 定長碼參數(shù) 130
6．3 離散信源變長編碼 131
6．3．1 變長碼的唯一可譯性 132
6．3．2 Kraft不等式 133
6．3．3 變長編碼定理 134
6．3．4 變長碼參數(shù) 136
6．4 變長編碼方法 137
6．4．1 Huffman編碼 137
6．4．2 實(shí)用的信源編碼方法 141
6．5 本章小結(jié) 143
習(xí)題 144
第7章 限失真信源編碼 147
7．1 系統(tǒng)模型和失真測度 148
7．1．1 系統(tǒng)模型 148
7．1．2 失真測度 148
7．1．3 失真函數(shù)舉例說明 149
7．2 信息率失真函數(shù) 149
7．2．1 定義 149
7．2．2 信息率失真函數(shù)的性質(zhì) 150
7．2．3 簡單信源的信息率失真函數(shù) 153
7．3 離散信源R(D)計算 161
7．3．1 離散信源信息率失真函數(shù)的參量表示 161
7．3．2 離散信源R(D)求解矢量/矩陣表示 163
7．3．3 參量s的意義 164
7．4 連續(xù)信源的信息率失真函數(shù) 167
7．4．1 連續(xù)信源的平均失真函數(shù) 167
7．4．2 d(x，y)只與x?y有關(guān)的情況下率失真函數(shù)的求解 168
7．4．3 高斯信源的率失真函數(shù) 169
7．4．4 限帶白色高斯信源的率失真函數(shù) 171
7．4．5 一般信源率失真函數(shù)的上限和下限 171
7．5 限失真信源編碼定理 172
7．6 本章小結(jié) 173
習(xí)題 175
第8章 信道編碼 178
8．1 引言 178
8．2 糾錯編碼 182
8．3 簡單編碼 186
8．4 線性分組碼 189
8．5 其他信道編碼方式 196
8．5．1 卷積碼 196
8．5．2 Turbo碼 199
8．5．3 LDPC碼 203
8．6 本章小結(jié) 206
習(xí)題 206
第9章 網(wǎng)絡(luò)信息論 208
9．1 信道模型 209
9．1．1 刪除信道 209
9．1．2 無線信道 210
9．2 數(shù)字噴泉碼的數(shù)學(xué)描述 210
9．2．1 數(shù)字噴泉碼的定義 210
9．2．2 Tanner圖 211
9．2．3 度分布函數(shù) 212
9．3 典型的數(shù)字噴泉碼 213
9．3．1 LT碼 213
9．3．2 Raptor碼 214
9．4 數(shù)字噴泉碼的譯碼算法 216
9．4．1 刪除信道中的譯碼算法 216
9．4．2 無線信道中的譯碼算法 217
9．5 數(shù)字噴泉碼的性能分析方法 219
9．5．1 刪除信道中的密度演化 219
9．5．2 無線信道中的密度演化 222
9．6 數(shù)字噴泉碼的應(yīng)用 225
9．7 網(wǎng)絡(luò)編碼基礎(chǔ) 226
9．7．1 引言 226
9．7．2 最大流最小割定理 226
9．7．3 網(wǎng)絡(luò)編碼的數(shù)學(xué)描述 227
9．7．4 網(wǎng)絡(luò)編碼的分類及特點(diǎn) 228
9．8 網(wǎng)絡(luò)編碼實(shí)例：應(yīng)用于蝶形網(wǎng)絡(luò) 229
9．9 網(wǎng)絡(luò)編碼的研究現(xiàn)狀 230
9．10 網(wǎng)絡(luò)編碼的應(yīng)用 231
參考文獻(xiàn) 232
新書資訊