《信息理論與編碼》以香農信息論為基礎，分兩大部分共8章向讀者系統介紹信息理論與編碼理論的基本思想：第一部分主要介紹了香農信息論的基本概念和性質，包括信息熵、信息率失真函數和信道容量，力求從基本概念上幫助讀者理解和掌握信息理論的基本內容；第二部分以三個基本概念相對應的香農三大編碼定理為基礎，從滿足通信系統的有效性、可靠性和安全性三項性能指標為出發(fā)點，詳細介紹了無失真信源編碼、限失真信源編碼和信道編碼的基本理論與方法。
《信息理論與編碼》內容結構清晰明了，以通俗語言敘述代替高深繁瑣的數學推導，強調信息理論與編碼方法在知識上的連貫性，以滿足工科類本科專業(yè)學生的學習要求。
《信息理論與編碼》可作為普通高等院校電氣信息類電子信息工程專業(yè)和通信專業(yè)的教材或教學參考書。
自從美國科學家香農(C.E.Shannon)在1948年發(fā)表了一篇題為“通信的數學理論”的經典學術論文，一門涉及通信技術、自動控制、信號處理、計算機技術、網絡技術等眾多學科的研究領域——信息理論便誕生了。信息理論是概率論與通信技術相結合的邊緣學科，研究領域從自然科學滲透到了政治、經濟、軍事甚至社會科學。現代科學技術的快速發(fā)展已使人們充分認識到，作為信息科學和技術基本理論的信息論在21世紀的信息時代起著非常重要的作用。
本書不僅系統和詳細地介紹了經典信息論的基本概念、基本性質和基本方法，而且從通信系統基本目的出發(fā)，圍繞優(yōu)化和提高通信系統的三項性能指標，系統論述了解決實際問題的理論基礎——香農三大編碼定理的基本原理、方法和運用。全書分為兩大部分共8章。第一部分的4章主要圍繞信息熵、信息率失真函數和信道容量三個基本概念組織內容。該部分各章內容編排如下：第1章介紹了信息的基本概念與分類，以及研究信息論的目的和意義；第2章介紹了離散信源、離散序列信源和連續(xù)信源的數學模型、信源特征以及信息熵，主要包括信息熵和互信息量的概念、性質以及最大熵定理；第3章的內容包括離散信源和連續(xù)信源的信息率失真函數R(D)的基本概念、性質和計算方法；第4章介紹了信道容量的定義，離散信道和連續(xù)信道的容量計算，其中包括幾個特殊的離散信道容量計算，重點對香農信道容量公式作了詳細的介紹。第二部分的4章根據第一部分提出的三個基本概念，引入了香農三大編碼定理，詳細介紹三大定理的主要內容和重要意義，以及信源編碼和信道編碼。該部分各章內容編排如下：第5章介紹了通信系統需要解決的三個問題，以及解決這三個問題所對應的香農編碼定理的主要內容；第6章介紹了無失真信源編碼定理即香農第一編碼定理，包括等長編碼、變長編碼，主要介紹了最優(yōu)無失真信源編碼——霍夫曼編碼方法；第7章主要內容包括限失真信源編碼的保真度準則、限失真信源編碼定理即香農第二編碼定理，以及常見的語音和圖像編碼方案；第8章介紹了提高系統可靠性的信道編碼即香農第三編碼定理，包括信道編碼概念和準則及幾種常見的信道編碼方案。
學習本課程需要學生具有高等數學、工程數學以及通信原理等基礎知識的儲備，作者力求以形象生動的語言對所學內容進行描述，以激發(fā)廣大讀者對本專業(yè)基礎課的學習興趣。本書可作為普通高等院校電氣信息類電子信息工程專業(yè)和通信工程專業(yè)的教材，還可作為相關專業(yè)的教學參考書。
本書的第1、5章由長沙學院的謝明華老師編寫，第2章由聊城大學東昌學院的郭宗林老師編寫，第3、4、7章由安徽理工大學的姚善化老師編寫，第6章由寧夏大學的李春樹老師編寫，第8章和附錄部分由聊城大學的許恒迎老師編寫，全書由安徽理工大學姚善化擔任主編并負責統稿，聊城大學許恒迎擔任副主編。另外，本書的編寫得到了清華大學出版社的鼎力支持，在此深表感謝。
鑒于信息技術的發(fā)展日新月異，新的理論和研究成果層出不窮，本書無法做到全面覆蓋，加之作者的學術水平和視野有限，錯誤和疏漏之處在所難免，敬請各位老師和同學批評指正。
編 者
第1章 概論
1.1 信息的概念
1.2 信息的分類
1.3 信息論的研究目的與意義
第2章 信源與信息熵
2.1 離散信源與信息熵
2.1.1 離散信源的數學模型與統計特征
2.1.2 自信息量和平均自信息量（熵）
2.1.3 熵函數的基本性質和最大熵定理
2.1.4 聯合熵與條件熵
2.1.5 互信息
2.2 離散序列信源：
2.2.1 離散序列信源的數學模型
2.2.2 離散序列信源的信息熵
2.2.3 馬爾可夫信源
2.2.4 信源冗余度
2.3 連續(xù)信源
2.3.1 連續(xù)信源的熵
2.3.2 連續(xù)信源的最大熵及熵功率
習題
第3章 信息率失真函數
3.1 失真測度
3.1.1 失真函數與平均失真度
3.1.2 信息率失真函數的定義
3.2 離散信源的信息率失真函數
3.2.1 信息率失真函數的性質
3.2.2 信息率失真函數的計算
3.3 連續(xù)信源的信息率失真函數
3.3.1 信息率失真函數的定義與性質
3.3.2 信息率失真函數的計算
習題
第4章 信道與信道容量
4.1 信道的分類與數學模型
4.1.1 信道的分類
4.1.2 信道的數學模型
4.1.3 信道容量的定義
4.2 信道容量的代價函數和信道冗余度
4.2.1 信道容量的代價函數
4.2.2 信道冗余度
4.3 離散信道及其容量計算
4.3.1 單符號離散信道的信道容量
4.3.2 多符號離散信道的信道容量
4.4 連續(xù)信道及其容量
4.4.1 時間離散信道的信道容量
4.4.2 時間連續(xù)信道的信道容量
4.4.3 限頻率、限時、限功率的AWGN信道容量
4.5 信道容量c與信息率失真函數R（D）的區(qū)別
4.6 多用戶信道
4.6.1 多址接入信道
4.6.2 廣播信道
習題
第5章 香農三大定理
5.1 香農第一定理
5.2 香農第二定理
5.3 香農第三定理
第6章 無失真信源編碼
第7章 限失真信源編碼定理
第8章 信道編碼
附錄A 常用概率公式
附錄B 詹森不等式
參考文獻
新書資訊