本書是自適應信號處理領域的一本經典教材。全書共17章，系統全面、深入淺出地講述了自適應信號處理的基本理論與方法，充分反映了近年來該領域的新理論、新技術和新應用。內容包括：隨機過程與模型、維納濾波器、線性預測、*速下降法、隨機梯度下降法、*小均方（LMS）算法、歸一化LMS自適應算法及其推廣、分塊自適應濾波器、*小二乘法、遞歸*小二乘（RLS）算法、魯棒性、有限字長效應、非平衡環境下的自適應、卡爾曼濾波器、平方根自適應濾波算法、階遞歸自適應濾波算法、盲反卷積，以及它們在通信與信息系統中的應用。
本書作者是國際知名的教材作者，其編著的基本教材“信號與系統”“通信系統”“自適應濾波器原理”均是國外的**暢銷教材，已被多所大學采用。本書內容緊跟時代，不斷更新。正因為這樣，該書備受讀者歡迎，影響與日俱增，贏得很高的聲譽。
前 言
新舊版本比較
本書新版本（第五版）對舊版本（第四版）進行了大量的修訂。主要修改如下除這里所羅列的修改外， 還包括散布在其他章節的許多修改。例如， 第6章增加了關于LMS算法的最優性考慮和統計效率的新內容， 第10章引入了關于RLS算法統計效率的新內容， 第14章新增了關于信息濾波算法的獨特特性和Fisher信息等內容。
1.引入了全新的第5章關于隨機梯度下降法的內容。
2.根據朗之萬（Langevin）函數及相應的布朗運動， 修改了第6章(舊版本第5章)中最小均方(LMS)的統計學習理論。
3.引入了全新的第11章關于魯棒性的內容。
4.在第13章后半部引入非平穩環境下自適應的新內容， 并將其應用于增量Delta-Bar-Delta（IDBD）算法和自動步長方法。
5.在附錄Ｂ和附錄Ｆ中分別引入關于微積分及朗之萬函數的新內容。
6.更新了參考文獻， 增列了“建議閱讀文獻”。
7.刪除了舊版本中“自適應IIR濾波器”和關于復數神經網絡的“反向傳播學習”兩章。
本書新版要點
自適應濾波器是統計信號處理中的一個重要組成部分。它可對未知統計環境或非平穩環境下的各種信號處理問題， 提供一種十分吸引人的解決方案， 并且其性能通常遠優于用常規方法設計的固定濾波器。此外， 自適應濾波器還能夠提供非自適應方法所不能提供的信號處理能力。因此， 自適應濾波器已經成功應用于諸如通信、 控制、 雷達、 聲吶、 地震和生物醫學工程等許多領域。
本書寫作目的
本書寫作的主要目的是研究各種線性自適應濾波器的數學原理。所謂自適應性是根據輸入數據調整濾波器中的自由參數（系數）來實現的， 從而使得自適應濾波器實際上是非線性的。我們說自適應濾波器是“線性”的， 指的是如下含義：
無論何時濾波器的輸入－輸出映射都服從疊加原理， 在任何特定的時刻， 而且在任意特定時刻濾波器的參數都是固定的。
線性自適應濾波問題不存在唯一的解。但存在由各種遞歸算法所表示的“一套工具”， 每一工具給出它所擁有的期望特性。本書就提供了這樣一套工具。
在背景方面， 假設讀者已學過概率論、 數字信號處理等大學本科的導論性課程及通信和控制系統等先修課程。
本書組成結構
本書緒論部分從一般性地討論自適應濾波器的運算及其不同形式開始， 并以其發展歷史的注釋作為結束。其目的是想通過該課題的豐富歷史， 向那些對該領域感興趣并有志潛心鉆研的讀者追溯這些研究動機的由來。
本書主體內容共17章， 具體安排如下。
1)隨機過程與模型， 這方面內容在第1章介紹， 著重講解平穩隨機過程的部分特征（如二階統計描述）。它是本書其余部分內容的主要基礎。
2)維納濾波器理論及其在線性預測中的應用（第2章和第3章）, 維納濾波器在第2章中介紹， 它定義了平穩環境下的最佳線性濾波器， 而且提供了線性自適應濾波器的一個基本框架。第3章講述了線性預測理論， 著重講述了前向預測和后向預測及其變種， 并以線性預測在語音編碼中的應用作為該章的結束。
3)梯度下降法, 在第4章和第5章中講述。第4章介紹了一種固定型的古老最優化技術（即所謂最速下降法）的基礎； 該方法提供了維納濾波器波的一種迭代演變框架。作為直接對比， 第5章介紹了隨機梯度下降法的基本原理； 該方法非常適合處理非平穩環境， 而且通過最小均方(LMS, least-mean-square)和梯度自適應格型(GAL, gradient adaptive lattice)算法闡明了其適用性。
4)LMS算法族， 涵蓋了第6章、 第7章、 第8章三章， 具體如下：
● 第6章討論了LMS算法的各種不同應用， 詳盡闡述了小步長統計理論。這一新的理論來源于非平衡熱力學的朗之萬方程， 這為LMS算法的瞬態過程提供了一個比較準確的評估。計算機仿真證明了該理論的有效性。
● 第7章和第8章擴展了傳統的LMS算法族。這一點是通過詳細論述歸一化LMS算法、 仿射投影自適應濾波算法、 頻域和子帶自適應LMS濾波算法來實現的。仿射投影算法可看做介于LMS算法與遞歸最小二乘（RLS）算法的中間算法。頻域和子帶自適應LMS濾波算法將在后面討論。
5)最小二乘法和RLS算法, 分別在第9章和第10章介紹。第9章論述了最小二乘法， 它可看做源于隨機過程的維納濾波器的確定性副本。在最小二乘法中， 輸入數據是以塊(block-by-block)為基礎進行處理的。過去因其數值計算復雜性而被忽視的分塊方法正日益引起人們的關注， 這得益于數字計算機技術的不斷進步。第10章在最小二乘法的基礎上設計了RLS算法， 并詳盡闡述了其瞬態過程的統計理論。
6)魯棒性、 有限字長效應和非平穩環境下的自適應問題， 分別在第11章、 第12章和第13章介紹。具體如下：
● 第11章介紹了H∞理論， 它為魯棒性提供數學基礎。在這一理論下， 只要所選的步長參數很小， LMS算法在H∞的意義下就是魯棒的； 但在面對內在或外在干擾的非平穩環境時， RLS算法的魯棒性不如LMS算法。本章也討論了確定性魯棒性與統計有效性（效率）之間的折中問題。
● 第5~10章的線性自適應濾波算法理論以無限精度運算為基礎。然而， 當用數字形式實現任何自適應濾波算法時， 將產生由有限精度運算所引起的有限字長效應。第12章討論了LMS和RLS算法數字實現時的有限字長效應。
● 第13章擴展了LMS和RLS算法理論。這是通過評價和比較運行于非穩定環境(設其為馬爾可夫模型)下LMS和RLS算法的性能來實現的。這一章的第二部分主要研究兩個新算法：其一為增量delta-bar-delta（IDBD）算法， 它由傳統LMS算法的步長參數的向量化實現； 其二為自動步長法， 它以IDBD算法為基礎， 通過實驗構成一個自適應步驟， 以避免手動調整步長參數。
7)卡爾曼濾波理論及相關的自適應濾波算法， 這些內容在第14章、 第15章、 第16章中介紹， 具體如下：
● 第14章介紹了RLS算法。實際上， RLS算法是著名的卡爾曼濾波的一個特例。突出狀態的概念是卡爾曼濾波的一個重要特點。因此， 很好地理解卡爾曼濾波理論（也包括將平穩環境下的維納濾波器作為其特例）是十分重要的。此外， 應注意到協方差濾波和信息濾波算法是卡爾曼濾波器的變種。
● 第15章在協方差濾波和信息濾波的基礎上導出了它們各自的平方根形式。具體而言， 就是引入前陣列和后陣列的思想， 從而促使一類使用吉文斯(Givens)旋轉脈動陣列的新的自適應濾波算法的產生。
● 第16章介紹了另一類新的階遞歸最小二乘格型（LSL）濾波算法， 該算法也建立在協方差型和信息算法型卡爾曼濾波器的基礎上。為了實現這類算法， 需要利用一種數值魯棒的所謂QR分解方法。階遞歸LSL算法的另一個有吸引力的特點是其計算復雜度遵循線性規律。但是， 這些算法的所有優點都是以數學和編碼上的高度復雜性為代價的。
8)無監督(自組織)自適應， 即盲反卷積， 在本書的最后一章即第17章介紹。這里所謂的“盲”表示在完成自適應濾波的過程中不需要期望響應的協助。這個艱巨任務是采用基于如下概念的模型完成的：
● 子空間分解， 在本章第一部分介紹， 提供了一個靈巧的數學上解決盲均衡問題的方法。為了解決這個問題， 我們使用通信系統中固有的循環平穩性來尋找信道輸入的二階統計量， 以便用無監督方式均衡信道。
● 高階統計量， 在本章第二部分介紹， 它可以是顯式的或者隱式的。這部分內容致力于導出一類盲均衡算法， 統稱為Bussgang類盲均衡算法。本章第二部分還包含一類以源于最大熵法的信息理論方法為基礎的新的盲均衡算法。
本書還包含一個后記， 它分為兩個部分：
● 后記第一部分回顧前面章節中介紹的內容， 最后總結了魯棒性、 有效性(效率)和復雜性， 并且說明了LMS和RLS算法在這三個根本性的重要工程問題上所起的作用。
● 后記第二部分包括以核函數（它起著計算單元隱層的作用）為基礎的一類新的非線性自適應濾波算法。這些核函數來源于再生核希爾伯特空間（RKHS）， 而且這里給出的內容源自機器學習文獻中已被很好研究的那些資料。特別是， 后記將注意力聚焦于LMS濾波， 包括傳統LMS算法在其中所起的關鍵性作用； 而且簡要討論了自適應濾波中這個相對較新的方法的屬性和限制。
本書還包含如下內容的附錄：
● 復變函數
● 沃廷格(Wirtinger)微分
● 拉格朗日(Lagrange)乘子法
● 估計理論
● 特征值分析
● 朗之萬函數
● 旋轉和反射
● 復數維薩特(Wishart)分布
在本書的不同部分， 應用了由這些附錄中給出的基本思想和方法。
輔助材料
● 本書還附有一個術語表， 由一系列定義、 記號、 約定、 縮略詞和書中涉及的主要符號組成。
● 本書中引用的所有出版物都匯編在參考文獻中。每篇參考文獻包括作者姓名和出版年份。本書也包括了一個建議閱讀部分， 增加了許多其他參考文獻以便讀者進一步閱讀。
例題、 習題與計算機實驗
本書各章包括大量例題， 用來說明書中討論的概念和理論。
本書還包括許多計算機實驗， 用來說明LMS和RLS算法的基礎理論和應用。這些實驗可以幫助讀者比較這兩種線性自適應濾波算法的不同性能。
本書每一章（除了緒論外）以習題作為結束， 這出于以下兩點考慮：
● 幫助讀者更深刻地理解該章所包含的內容。
● 激勵讀者擴展該章所討論的原理和方法。
題解手冊
本書還配有對第1~17章所有習題詳細解答的題解手冊。選用本書作為教材的教師可直接向出版商申請題解手冊。教輔申請方式請參見書末的“教學支持說明”。
所有計算機實驗的MATLAB代碼， 可在網站http//www.pearsonhighered.com/haykin/上獲得。 也可登錄華信教育資源網(http//www.hxedu.com.cn)免費注冊下載。
兩個
Simon Haykin：IEEE會士、加拿大皇家學會會士，畢業于英國伯明翰大學電子工程系。現為加拿大McMaster大學的Distinguished University教授，認知系統實驗室主任。2002年獲國際無線電科學聯盟(URSI）頒發的Henry Booker金質獎章。在無線通信與信號處理領域的多個方面著述頗豐，主要研究方向為自適應信號處理與智能信號處理、無線通信與雷達技術，近年來特別關注認知無線電和認知雷達方面的研究。
Contents
Background and Preview 1
1. The Filtering Problem 1
2. Linear Optimum Filters 4
3. Adaptive Filters 4
4. Linear Filter Structures 6
5. Approaches to the Development of Linear Adaptive Filters 12
6. Adaptive Beamforming 13
7. Four Classes of Applications 17
8. Historical Notes 20
Chapter 1 Stochastic Processes and Models 30
1.1 Partial Characterization of a Discrete-Time Stochastic Process 30
1.2 Mean Ergodic Theorem 32
1.3 Correlation Matrix 34
1.4 Correlation Matrix of Sine Wave Plus Noise 39
1.5 Stochastic Models 40
1.6 Wold Decomposition 46
1.7 Asymptotic Stationarity of an Autoregressive Process 49
1.8 Yule–Walker Equations 51
1.9 Computer Experiment: Autoregressive Process of Order Two 52
1.10 Selecting the Model Order 60
1.11 Complex Gaussian Processes 63
1.12 Power Spectral Density 65
1.13 Properties of Power Spectral Density 67
1.14 Transmission of a Stationary Process Through a Linear Filter 69
1.15 Cramér Spectral Representation for a Stationary Process 72
1.16 Power Spectrum Estimation 74
1.17 Other Statistical Characteristics of a Stochastic Process 77
1.18 Polyspectra 78
1.19 Spectral-Correlation Density 81
1.20 Summary and Discussion 84
Problems 85
Chapter 2 Wiener Filters 90
2.1 Linear Optimum Filtering: Statement of the Problem 90
2.2 Principle of Orthogonality 92
2.3 Minimum Mean-Square Error 96
2.4 Wiener–Hopf Equations 98
2.5 Error-Performance Surface 100
2.6 Multiple Linear Regression Model 104
2.7 Example 106
2.8 Linearly Constrained Minimum-Variance Filter 111
2.9 Generalized Sidelobe Cancellers 116
2.10 Summary and Discussion 122
Problems 124
Chapter 3 Linear Prediction 132
3.1 Forward Linear Prediction 132
3.2 Backward Linear Prediction 139
3.3 Levinson–Durbin Algorithm 144
3.4 Properties of Prediction-Error Filters 153
3.5 Schur–Cohn Test 162
3.6 Autoregressive Modeling of a Stationary Stochastic Process 164
3.7 Cholesky Factorization 167
3.8 Lattice Predictors 170
3.9 All-Pole, All-Pass Lattice Filter 175
3.10 Joint-Process Estimation 177
3.11 Predictive Modeling of Speech 181
3.12 Summary and Discussion 188
Problems 189
Chapter 4 Method of Steepest Descent 199
4.1 Basic Idea of the Steepest-Descent Algorithm 199
4.2 The Steepest-Descent Algorithm Applied to the Wiener Filter 200
4.3 Stability of the Steepest-Descent Algorithm 204
4.4 Example 209
4.5 The Steepest-Descent Algorithm Viewed as a Deterministic Search Method 221
4.6 Virtue and Limitation of the Steepest-Descent Algorithm 222
4.7 Summary and Discussion 223
Problems 224
Chapter 5 Method of Stochastic Gradient Descent 228
5.1 Principles of Stochastic Gradient Descent 228
5.2 Application 1: Least-Mean-Square (LMS) Algorithm 230
5.3 Application 2: Gradient-Adaptive Lattice Filtering Algorithm 237
5.4 Other Applications of Stochastic Gradient Descent 244
5.5 Summary and Discussion 245
Problems 246
Chapter 6 The Least-Mean-Square (LMS) Algorithm 248
6.1 Signal-Flow Graph 248
6.2 Optimality Considerations 250
6.3 Applications 252
6.4 Statistical Learning Theory 272
6.5 Transient Behavior and Convergence Considerations 283
6.6 Efficiency 286
6.7 Computer Experiment on Adaptive Prediction 288
6.8 Computer Experiment on Adaptive Equalization 293
6.9 Computer Experiment on a Minimum-Variance Distortionless-Response
Beamformer
302
6.10 Summary and Discussion 306
Problems 308
Chapter 7 Normalized Least-Mean-Square (LMS) Algorithm and Its
Generalization 315
7.1 Normalized LMS Algorithm: The Solution to a Constrained Optimization Problem 315
7.2 Stability of the Normalized LMS Algorithm 319
7.3 Step-Size Control for Acoustic Echo Cancellation 322
7.4 Geometric Considerations Pertaining to the Convergence Process for Real-Valued
Data 327
7.5 Affine Projection Adaptive Filters 330
7.6 Summary and Discussion 334
Problems 335
Chapter 8 Block-Adaptive Filters 339
8.1 Block-Adaptive Filters: Basic Ideas 340
8.2 Fast Block LMS Algorithm 344
8.3 Unconstrained Frequency-Domain Adaptive Filters 350
8.4 Self-Orthogonalizing Adaptive Filters 351
8.5 Computer Experiment on Adaptive Equalization 361
8.6 Subband Adaptive Filters 367
8.7 Summary and Discus
新書資訊