本書介紹信息論與編碼的基本理論和方法。全書共分9章，內(nèi)容包括信息的概念、數(shù)字通信系統(tǒng)模型、信息論的發(fā)展?fàn)顩r、信息的統(tǒng)計(jì)度量、 離散與連續(xù)信源、離散與連續(xù)信道、信道容量、信息率失真函數(shù)、無失真信源編碼、限失真信源編碼、有噪信道編碼、糾錯(cuò)編碼、信息論在密碼學(xué)中的應(yīng)用、網(wǎng)絡(luò)信息論初步，每章后面附有習(xí)題，便于加深理解。 本書系統(tǒng)簡明，深入淺出，舉例經(jīng)典，注重思路； 適合作為高等院校信息科學(xué)與信息技術(shù)相關(guān)專業(yè)的本科生教材或教學(xué)參考書，也適合作為從事通信、雷達(dá)、導(dǎo)航、計(jì)算機(jī)、控制、系統(tǒng)工程、生物工程、管理工程等有關(guān)的科研和工程技術(shù)人員的入門參考書。
1948年，香農(nóng)（C.E.Shannon）發(fā)表了著名的論文“通信的數(shù)學(xué)理論”，從而為一門科學(xué)——信息論——奠定了理論基礎(chǔ)。信息論是人們在長期通信工程的實(shí)踐中將通信技術(shù)與統(tǒng)計(jì)數(shù)學(xué)相結(jié)合而逐漸形成的一門交叉科學(xué)。
作為通信技術(shù)的數(shù)學(xué)基礎(chǔ)，信息論特別強(qiáng)調(diào)通過編碼處理來提高通信的有效性和可靠性。 隨著信息技術(shù)的不斷發(fā)展，信息論在通信領(lǐng)域發(fā)揮著越來越重要的作用，顯示出它是解決信息與通信領(lǐng)域中有關(guān)問題的有力工具的本色。另一方面，在當(dāng)今的信息時(shí)代，信息理論已滲透到其他相關(guān)的自然科學(xué)，甚至社會(huì)科學(xué)領(lǐng)域，與電子技術(shù)、自動(dòng)控制、計(jì)算機(jī)網(wǎng)絡(luò)以及管理學(xué)、經(jīng)濟(jì)學(xué)、生物學(xué)、 醫(yī)學(xué)、心理學(xué)等學(xué)科密切結(jié)合，顯示出它的勃勃生機(jī)和不可估量的發(fā)展前景。信息論是信息科學(xué)中極為重要的組成部分，是信息科學(xué)發(fā)展的起源與基石。
在這種背景下，國內(nèi)高校普遍在相關(guān)專業(yè)為本科生和研究生開設(shè)了“信息論基礎(chǔ)”或“信息論與編碼”課程。 近十年來，作者一直在大連海事大學(xué)為本科生講授“信息論基礎(chǔ)”課程。 本書就是在該課程的講義基礎(chǔ)之上編著而成的，書中也包含著作者多年研究信息理論與編碼技術(shù)的經(jīng)驗(yàn)和體會(huì)。
本書主要講述經(jīng)典信息論內(nèi)容。為了便于理解，首先討論比較簡單的離散信源和離散信道模型下的信息與編碼理論，然后再討論比較復(fù)雜的連續(xù)信源和連續(xù)信道情景。 不論是離散情況還是連續(xù)情況，都先側(cè)重講解便于理解的單維、無記憶的情況， 然后逐步過渡到比較抽象的多維、有記憶情況。 最后為了引起進(jìn)一步的學(xué)習(xí)興趣，還簡短地介紹了信息論在密碼學(xué)中的應(yīng)用以及網(wǎng)絡(luò)信息論初步知識。
本書重視基本概念和基本結(jié)論的理解以及思維方式的培養(yǎng)。在數(shù)學(xué)工具運(yùn)用上，努力使數(shù)學(xué)符號規(guī)范和統(tǒng)一、證明方法簡潔而統(tǒng)一。此外，面向初學(xué)者和本科生，還有意識地刪除了一些過于冗長、難以把握的證明過程。
最后，值得一提的是，在本書的編寫過程中，作者所指導(dǎo)的一些研究生為本書做了大量錄入和繪圖工作，在此致以真摯的謝意！
由于時(shí)間和水平所限，書中難免存在不當(dāng)之處，懇請讀者批評和指正。
岳殿武2014年11月于大連
第1章緒論
1.1信息與信息論
1.2通信系統(tǒng)模型
1.3信息論的形成和發(fā)展
第2章離散信源與信息熵
2.1信源的分類和描述
2.2離散信源的信息熵
2.2.1自信息量
2.2.2平均自信息量
2.2.3熵的性質(zhì)
2.3離散無記憶信源
2.3.1離散無記憶信源的數(shù)學(xué)描述
2.3.2離散平穩(wěn)無記憶信源的信息熵
2.4離散平穩(wěn)信源
2.4.1離散平穩(wěn)信源的定義
2.4.2平均符號熵與二維平穩(wěn)信源
2.4.3離散平穩(wěn)信源的極限熵
2.5馬爾可夫信源
2.5.1馬爾可夫信源的數(shù)學(xué)描述
2.5.2馬爾可夫鏈
2.5.3極限熵與條件熵
2.6信源的相關(guān)性與冗余度
習(xí)題
第3章離散信道與平均互信息量
3.1信道的模型和分類
3.1.1信道的系統(tǒng)模型
3.1.2信道的分類
3.1.3離散信道的數(shù)學(xué)模型
3.2互信息量與平均互信息量
3.2.1互信息量
3.2.2平均互信息量
3.3信道容量
3.3.1信道容量的定義
3.3.2無噪信道的信道容量
3.3.3對稱信道的信道容量
3.3.4一般信道的信道容量
3.3.5信源與信道匹配
3.4離散無記憶信道
3.4.1離散無記憶信道的數(shù)學(xué)描述
3.4.2離散無記憶信道的平均互信息量
3.5串聯(lián)信道的平均互信息量
習(xí)題
第4章無失真信源編碼
4.1信源編碼的基本概念和要求
4.2即時(shí)碼與唯一可譯碼
4.3定長編碼定理
4.4變長編碼定理
4.5變長編碼方法
4.5.1香農(nóng)編碼方法
4.5.2費(fèi)諾編碼方法
4.5.3霍夫曼編碼方法
習(xí)題
第5章限失真信源編碼
5.1失真函數(shù)
5.1.1失真度
5.1.2平均失真度
5.2信息率失真函數(shù)
5.2.1信息率失真函數(shù)的定義
5.2.2信息率失真函數(shù)的性質(zhì)
5.2.3二進(jìn)制信源的率失真函數(shù)
5.3信息率失真函數(shù)的計(jì)算
5.3.1率失真函數(shù)的參量表述方法
5.3.2率失真函數(shù)的迭代計(jì)算方法
5.4限失真信源編碼定理
習(xí)題
第6章有擾信道編碼
6.1信道編碼的基本概念
6.2差錯(cuò)控制系統(tǒng)
6.3信道編碼的分類
6.4編碼信道模型
6.5最大后驗(yàn)概率譯碼與最大似然譯碼
6.6漢明距離與距離分布
6.7編碼信道容量
6.8信道編碼定理
習(xí)題
第7章線性糾錯(cuò)碼
7.1線性分組碼與生成矩陣
7.2線性分組碼與校驗(yàn)矩陣
7.3線性分組碼的譯碼
7.3.1伴隨式與碼的結(jié)構(gòu)
7.3.2不可檢錯(cuò)概率與碼的重量分布
7.3.3標(biāo)準(zhǔn)陣列與陪集
7.4Hamming碼及其變形
7.4.1Hamming碼
7.4.2Hamming碼的變形
7.5線性分組碼的性能限
7.6Turbo分組碼
7.6.1Turbo分組碼的編碼
7.6.2Turbo迭代譯碼的基本思想
7.7LDPC碼
7.7.1LDPC碼的概念
7.7.2LDPC碼的構(gòu)造
7.7.3LDPC碼迭代譯碼的基本思想
7.7.4二進(jìn)制刪除信道中的迭代譯碼算法
7.8糾錯(cuò)譯碼的性能估計(jì)
習(xí)題
第8章連續(xù)信源與連續(xù)信道
8.1連續(xù)信源與其相對熵
8.1.1單維連續(xù)信源的相對熵
8.1.2連續(xù)信源的最大熵
8.1.3多維連續(xù)信源的相對熵
8.2連續(xù)信道與平均互信息量
8.2.1單維連續(xù)信道的平均互信息量
8.2.2多維連續(xù)信道的平均互信息量
8.3連續(xù)信道的信道容量
8.3.1單維加性信道的信道容量
8.3.2多維加性信道的信道容量
8.3.3信道編碼定理與香農(nóng)限
8.4連續(xù)信源的信息率失真函數(shù)
8.4.1信息率失真函數(shù)的定義和性質(zhì)
8.4.2高斯信源的信息率失真函數(shù)
習(xí)題
第9章信息論發(fā)展與應(yīng)用
9.1網(wǎng)絡(luò)信息論初步
9.1.1網(wǎng)絡(luò)信道分類
9.1.2網(wǎng)絡(luò)信道容量
9.2信息論在密碼學(xué)中的應(yīng)用
9.2.1保密系統(tǒng)
9.2.2安全保密性
習(xí)題
參考文獻(xiàn)
新書資訊