本書是作者在近十年科學研究和研究生教學實踐的基礎上,經過深入分析論證、充分歸納綜合編著而成,全面、系統地介紹了多用戶信息論。本書內容包括緒論、單用戶信息論中的幾個專題、多端信源編碼、多接入信道、廣播信道、干擾信道和認知信道、中繼信道與合作信道及反饋信道與雙向信道。
本書的主要閱讀對象是信息與通信工程專業的研究生和從事通信前沿理論研究的科研工作者,特別是對于從事研發新一代無線網絡的研究人員具有參考價值。
這本《多用戶信息論》由仇佩亮、張朝陽、楊勝天、余官定編著,本書適當簡化了一些煩瑣的論證,重在闡述多用戶信息論揭示的多用戶信道中信息傳輸所服從的理論界限和本質規律,以及不同信道之間的關聯性,很多只給出證明思路,使得讀者易于理解。同時,本書面向通信理論和工程研究人員,因此更注重介紹達到理論界限的編碼方法、相關定理的本質內涵及其應用中所必須遵循的基本原則。
前言
第1章 緒論
1.1 多用戶信息論引言
1.2 本書中常用的一些記號與本書結構
1.2.1 一些常用記號
1.2.2 本書的結構和內容介紹
參考文獻
第2章 單用戶信息論中的幾個專題
2.1 單用戶離散信道的容量
2.1.1 離散無記憶信道的容量與編碼定理
2.1.2 具有獨立、同分布狀態信息的信道容量
2.1.3 有記憶信道的信道容量
2.2 加性高斯噪聲信道
2.2.1 加性白高斯噪聲信道
2.2.2 加性有色高斯噪聲信道
2.2.3 衰落信道的容量
2.3 臟紙信道與臟帶信道
2.3.1 臟紙信道容量
2.3.2 廣義臟紙信道容量
2.3.3 臟帶信道容量
2.4 MIMO信道
2.4.1 MIMO信道模型
2.4.2 確定性MIMO信道的容量
2.4.3 衰落MIMO信道的容量
2.4.4 MIMO信道分集增益和復用增益的折中關系
2.5 單端信源的率失真理論
2.5.1 離散、無記憶信源
2.5.2 平方誤差失真度量下平穩高斯信源
2.5.3 具有邊信息的率失真問題
2.5.4 間接率失真問題
2.6 單用戶信道編碼與信源編碼之間的對偶性
2.6.1 信道編碼與信源編碼之間的公式對偶
2.6.2 信道編碼與信源編碼之間的功能對偶
2.6.3 信道編碼與信源編碼之間的工作對偶
參考文獻
第3章 多端信源編碼
3.1 Slepian-Wolf編碼定理
3.2 Wyner-Ziv編碼問題
3.3 Berger-Chang編碼問題
3.4 Berger-Tung編碼問題
3.5 CEO問題
3.5.1 一般離散、無記憶相關信源的CEO問題
3.5.2 二次高斯CEO問題
3.6 多描述編碼
3.6.1 具有2個信道和3個接收機的多描述編碼
3.6.2 可達性定理3.6.1的證明
3.6.3 信息描述的逐次細化
參考文獻
第4章 多接入信道
4.1 離散無記憶多接入信道的容量區
4.1.1 具有公共消息的二發射機多接入信道
4.1.2 具有獨立消息的離散無記憶多接入信道容量區
4.1.3 任意相關信源在多接入信道上傳輸
4.2 離散無記憶多接入信道可達碼率區的擬陣多面體結構與碼率分裂多接入技術
4.2.1 擬陣多面體與反擬陣多面體
4.2.2 離散無記憶MAC可達碼率區的擬陣多面體結構
4.2.3 離散無記憶MAC的碼率分裂多接入技術
4.3 高斯無記憶多接入信道
4.3.1 具有公共消息的二發射機高斯多接入信道
4.3.2 具有獨立消息的高斯無記憶多接入信道
4.3.3 高斯多接入信道上碼率分裂算法
4.4 多接入衰落高斯信道的通量容量區與最佳資源分配
4.4.1 多接入衰落高斯信道模型與通量容量區
4.4.2 通量容量區邊界的Lagrangian特征
4.4.3 最佳功率控制與碼率分配
4.4.4 容量區C(P)的邊界面
4.5 多接入衰落高斯信道的中斷容量區與最佳傳輸策略
4.5.1 多接入衰落高斯信道的時延-受限(0-中斷)容量區與最佳傳輸策略
4.5.2 多接入衰落高斯信道的共同中斷容量區與最佳傳輸策略
4.5.3 多接入衰落高斯信道的各自中斷容量區問題
4.6 MIMO多接入高斯信道
4.6.1 常數MIMO多接入信道
4.6.2 衰落MIMO多接入信道容量區
參考文獻
第5章 廣播信道
5.1 一般離散無記憶廣播信道容量區的內界和外界
5.1.1 廣播信道的定義與分類
5.1.2 廣播信道容量區的內界
5.1.3 廣播信道容量區的外界
5.1.4 工作于BC(Ⅱ)方式的一般廣播信道的容量區
5.2 幾個已知容量區的特殊廣播信道
5.2.1 退化的離散無記憶廣播信道
5.2.2 Less Noisy廣播信道和More Capable廣播信道
5.2.3 確定性和半確定性廣播信道
5.2.4 發送功率受限的AWGN廣播信道的容量區
5.3 抽頭信道與具有機密消息的廣播信道
5.3.1 離散無記憶抽頭信道
5.3.2 高斯抽頭信道
5.3.3 具有機密消息的廣播信道
5.4 高斯廣播信道容量區特征與功率優化分配
5.4.1 高斯廣播信道容量區的特征
5.4.2 高斯廣播信道功率最優分配
5.5 平行高斯廣播信道與衰落廣播信道
5.5.1 平行高斯廣播信道
5.5.2 衰落高斯廣播信道
5.6 高斯廣播信道與高斯多接入信道之間的對偶
5.6.1 高斯多接入信道與高斯廣播信道回顧
5.6.2 常數信道增益AWGN多接入信道與廣播信道之間的對偶
5.6.3 衰落多接入信道與廣播信道之間的對偶
5.6.4 MAC與BC對偶的凸優化解釋與最優譯碼次序
5.7 高斯MIMO廣播信道
5.7.1 高斯MIMO廣播信道與臟紙編碼可達碼率區
5.7.2 高斯MIMO廣播信道與高斯MIMO多接入信道之間的對偶
5.7.3 高斯MIMO廣播信道的“和碼率”容量
5.7.4 高斯MIMO廣播信道的容量區
參考文獻
第6章 干擾信道與認知信道
6.1 干擾信道容量區的內界和外界
6.1.1 干擾信道的模型
6.1.2 一般干擾信道容量區的外界
6.1.3 一般干擾信道容量區的內界(可達碼率區)
6.1.4 幾種退化干擾信道的容量區
6.2 高斯干擾信道
6.2.1 一般高斯干擾信道的可達碼率區
6.2.2 高斯強干擾信道的容量區
6.2.3 高斯退化干擾信道
6.2.4 高斯單邊干擾信道
6.2.5 一般高斯干擾信道的容量區外界
6.3 Z信道
6.3.1 Z信道的可達碼率區
6.3.2 幾種退化的Z信道
6.3.3 高斯Z信道
6.4 認知信道的可達碼率區
6.4.1 非因果認知信道的可達碼率區
6.4.2 非因果高斯認知信道的可達碼率區
6.4.3 因果高斯認知信道的可達碼率區
參考文獻
第7章 中繼信道與合作信道
7.1 離散無記憶中繼信道容量的上、下界
7.1.1 中繼信道容量的割集上界
7.1.2 中繼信道容量的下界
7.2 幾個已知容量的中繼信道模型
7.2.1 反向退化中繼信道的容量
7.2.2 退化中繼信道的容量
7.2.3 半確定中繼信道的容量
7.2.4 具有正交分量的中繼信道的容量
7.2.5 帶無噪反饋的中繼信道的容量
7.3 AWGN中繼信道
7.3.1 AWGN中繼信道容量的割集上界
7.3.2 AWGN中繼信道容量的譯碼轉發下界與估計轉發下界
7.3.3 AWGN中繼信道上傳輸每比特所需的最小能量
7.4 頻分和時分加性高斯噪聲中繼信道
7.4.1 FD-AWGN中繼信道的容量和容量界
7.4.2 FD-AGN中繼信道的容量和容量界
7.4.3 TD-AGN中繼信道的容量界
7.5 AWGN線性中繼信道
7.5.1 一般AWGN線性中繼信道
7.5.2 B類FD-AWGN線性中繼信道
7.6 MIMO中繼信道
7.6.1 高斯MIMO中繼信道模型
7.6.2 全雙工高斯MIMO中繼信道容量的上界
7.6.3 全雙工高斯MIMO中繼信道容量的下界
7.7 多中繼節點信道
7.7.1 多中繼節點信道模型
7.7.2 多中繼節點信道DF方式的可達碼率
7.7.3 多中繼節點信道CF方式的可達碼率
7.7.4 高斯多中繼信道
7.8 多用戶中繼信道
7.8.1 多接入中繼信道
7.8.2 廣播中繼信道
7.9 合作多用戶信道
7.9.1 合作多接入信道
7.9.2 合作廣播信道
參考文獻
第8章 反饋信道與雙向信道
8.1 單用戶信道反饋容量的一般結論
8.1.1 離散無記憶信道反饋容量與Schalkwijk-Kailath編碼
8.1.2 一般高斯信道反饋容量界
8.1.3 反饋增加高斯信道容量的充分必要條件
8.1.4 有向信息速率與反饋容量的關系
8.2 帶反饋的多接入信道
8.2.1 帶理想反饋的離散無記憶多接入信道
8.2.2 帶理想反饋的高斯多接入信道
8.2.3 多接入信道的反饋容量界
8.3 帶反饋的廣播信道
8.4 帶反饋的干擾信道
8.4.1 離散無記憶干擾信道的反饋容量界
8.4.2 無記憶高斯干擾信道的反饋容量
8.5 帶反饋的矢量多接入信道和矢量廣播信道
8.5.1 帶反饋的矢量高斯多接入信道
8.5.2 帶反饋的矢量高斯廣播信道
8.6 雙向信道
8.6.1 雙向信道容量區的Shannon內界和外界
8.6.2 一種可以超出Shannon內界的編碼方式
8.6.3 比Shannon界限更緊的內界和外界
8.6.4 高斯雙向信道
參考文獻
附錄A 典型列理論
附錄B 網絡中信息傳輸碼率的割集上界
附錄C 凸集、凸函數和凸優化
附錄D 輔助隨機變量的基數界
第1章 緒論
1.1 多用戶信息論引言[1~9]
以Shannon在1948年發表的偉大著作《通信的數學理論》[1] 為標志的Shannon信息論被認為是20世紀信息科學最重要的科學理論。Shannon信息論主要研究數據壓縮(信源編碼)和數據可靠傳輸的極限性能和實現方法。Shannon在他1948年的經典著作中關注的是只具有一個發信機(編碼器)和一個接收機(譯碼器)的單用戶數據壓縮和可靠傳輸問題,也就是所謂單用戶信息論。單用戶通信系統模型示于圖1.1.1。
Shannon在他的經典著作[1] 中提出并證明了單用戶信息論中兩條最基本定理,即信源無損壓縮編碼定理與信道編碼定理。
信源無損壓縮編碼定理 離散無記憶信源X,p(x)的熵H(X)是無損壓縮該信源所能達到的最小碼率。
信道編碼定理 離散無記憶信道X,p(y|x),Y的容量C=maxI(X;Y)是數p( x) 據在該信道上可靠傳輸的最大碼率。
這兩條定理給出信源壓縮編碼和信道編碼的極限性能。同時Shannon還證明了所謂的信源、信道分離編碼定理。
分離編碼定理 信道容量為C,信源的熵速率為H,若C≥H,則總存在一個編碼系統使得信源可在該信道上以任意小差錯概率傳輸;若C<H,則不能以任意小差錯概率傳輸。
按照分離編碼定理,信源、信道聯合最佳編碼并不能提高通信系統的極限性能。因此,通信工程師在設計通信系統時可以把信源編碼和信道編碼分開考慮,而不致影響整體性能。當然這里的分離編碼定理是針對單用戶離散無記憶信道和離散無記憶信源而言的。
Shannon的開創性工作為信息論的建立提供了基本概念、基本框架、基本方法和基本結果。此后Shannon以及其他學者對于這兩條基本定理給出了更嚴格的證明,有些學者用其他不同的方法同樣證明了這些基本定理;更有許多學者進一步把定理結果推廣到一些更復雜、更實際的信源和信道;同時發展了有損壓縮編碼理論,也即率失真理論。第一篇關于率失真理論的論文是Shannon在1959年發表的《保真度準則下的離散信源編碼定理》[10] 。
信源有損壓縮編碼定理 對于離散無記憶信源X,p(x)和失真度量d(x,^x),率失真函數R(D)=minI(X;X^)表示在失真不大于D的條件下壓p(^x|x):E(d(x,^x))≤D縮該信源所能達到的最小碼率。
早期的單用戶信息論并沒有找到很多的應用場合,許多通信工程師認為信息論過于抽象,他們還不理解信息論的意義。但是隨著電子科學技術和計算機技術的發展,尤其是集成電路CMOS技術的進展,低價、高性能計算和信號處理成為可能,從而引發了各種糾錯編碼、調制技術和各種媒體(文本、語音、圖像和視頻)壓縮技術的研究,使得信源壓縮編碼碼率和信道傳輸碼率逐漸接近Shannon指出的極限最佳碼率。從20世紀60年代開始,Shannon理論對于通信工程的指導意義開始凸顯。同時無線技術的發展使研究者關注衰落信道通信。由于在發送端或接收端能獲得有關信道狀態的知識,可以極大改善通信效果,于是引發了對邊信息(sideinformation)的興趣。事實上Shannon在1958年就發表了《發送機具有邊信息的信道》論文[11] 。具有邊信息的信道、信源編碼雖然從形式上看是屬于單用戶信息論模型,但是它是向多用戶信息論的過渡,許多學者也把它歸于多用戶信息論研究范疇。
20世紀六七十年代出現的因特網、蜂窩移動網絡以及ALOHA系統激發了人們對于通信網絡的興趣。因此研究在多用戶工作條件下的通信極限問題引起了信息論專家的關注。這方面的研究是以前單用戶信息論的自然推廣,稱為多用戶信息論。多用戶信息論與單用戶情況一樣,主要研究兩類問題,即多端相關信源的壓縮編碼和多用戶信息在網絡信道上可靠、有效傳輸的信道編碼;特別是研究它們的極限性能,即多端信源編碼的率失真區和多用戶信道的容量區。第一篇關于多用戶信息論的文章是1961年Shannon在一次關于統計和概率的國際會議上發表的,名為《雙向通信信道》[12] 。此后在70年代和80年代初、中期,隨著網絡通信的興起,多用戶信息論研究出現了一個高潮,取得了許多研究成果。但是,當時多用戶信息論研究成果對于通信網技術發展的指導作用并沒有達到預期的效果。這一方面是由于多用戶信息論所基于的模型過于簡化,并不實用;另一方面也是由于多用戶信息論的理論難度遠遠超出單用戶情況,對于許多看上去非常簡單的,僅包含幾個用戶的網絡都不能夠獲得它的可計算的容量區或率失真區,因而也不知道它們的最佳性能極限和最佳通信方式。80年代中到90年代初多用戶信息論研究出現了一個短時期的低潮。
90年代以后,無線移動通信和無線網絡有了長足的進步,各種無線通信網絡層出不窮。人們不但對于寬帶、碼率提出越來越高的要求,同時對于通信資源(頻帶、功率、空間)的消耗也提出越來越苛刻的限制。這一時期無線通信技術獲得突飛猛進。在編碼領域出現許多新的糾錯編碼,如Turbo碼、LDPC碼和噴泉碼(fountaincode)等,這些碼的性能已經非常接近Shannon極限;對于衰落信道有了更深入的研究,各種分集、合并技術,各種自適應均衡技術,擴譜、多用戶檢測技術,多載波技術,軟件無線電技術等物理層和鏈路層優化技術獲得了極大發展和應用。特別要指出的是,基于多天線的多輸入多輸出(multipleinputmultipleoutput,MIMO)技術顯著提高了信道的容量和抗衰落性能。可以說在端到端之間的無線通信技術已經發展到了極致,所達到的性能已與Shannon單用戶信息論所指出的極限相差無幾,要進一步提高無線網絡的性能,不能指望單用戶信息論的理論指導。因此,無線網絡的需求與無線技術的發展重新激發了研究者對于多用戶信息論的研究熱情。
現實的無線網絡,特別是在近20年所發展起來的Ad?Hoc自組織網絡、大規模無線傳感器網絡、無線Mesh網絡等都是極為復雜的多跳網絡。它們包含多個源、多個目的節點,傳輸多種消息,包含多種傳輸方式,可能是單向傳輸、雙向傳輸、多播、廣播、機密傳輸等;這些信源不僅具有冗余,而且是時變的,并可能在空間、時間上相關;無線網絡傳輸信道不僅要承受各種衰落,而且受到相互干擾、傳輸時延和節點損壞的影響。在多跳網絡中,節點也不是僅僅執行轉發功能,許多情況下節點要進行復雜的信號處理,有些還要作出判斷或計算。在無線網絡中除了可靠傳輸外,信息安全是非常重要的,在開放環境中只有在一定的機密性要求下的可靠傳輸才有意義。制約所有這些困難問題解決的瓶頸是無線網絡資源的限制,這些資源包括頻譜資源、能量資源、計算資源,甚至包括空間和時間的資源。
近幾年來廣為無線網絡專家和工程師研究的通信中的合作(cooperation)、競爭(competition)和認知(cognition)技術,即所謂的無線新3C技術,就是致力于網絡資源的更有效使用。探索這些技術的目的在于使每個節點共享相鄰節點的頻譜、能量和計算資源,從而優化整個網絡總資源的利用。