《普通高等教育"十二五"規劃教材:線性代數(理工類)》主要討論了矩陣理論相關知識、特征值與奇異值分析、主成分分析及神經網絡分析方法、次成分分析及神經網絡分析方法、子空間跟蹤及神經網絡分析方法、總體最小二乘方法、特征提取方法應用等。全書內容新穎，不但包含信息特征提取與優化的若干方法，而且對這些迭代方法的神經網絡算法的性能分析方法也進行了較為詳細的分析，反映了國內外信息處理和神經網絡領域在該方向上研究和應用的最新進展。
《普通高等教育"十二五"規劃教材:線性代數(理工類)》適合作為電子、通信、自動控制、計算機、系統工程、模式識別和信號處理等信息科學與技術學科高年級本科生和研究生教材，也可供相關專業研究人員和工程技術人員參考。
張曙翔主編的《線性代數(理工類)》是為綜合性大學及師范院校理工類非數學各專業編寫的。全書內容精煉，重點突出、講解詳實、例題豐富，敘述注重直觀、通俗易懂，在注重強化基礎知識及其訓練的基礎上，適當降低理論推導，盡可能地突出數學的思想方法，做到了深入淺出。教材內容包括：矩陣、可逆矩陣及矩陣的秩、線性方程組與向量組的線性相關性、特征值與特征向量、線性空間與線性變換、二次型。
前言
第一章 緒論
1.1 特征信息提取
1.1.1 主/次成分分析與子空間跟蹤
1.1.2 主/次成分神經網絡分析算法
1.1.3 該領域目前的研究熱點
1.2 特征提取與子空間跟蹤基礎
1.2.1 子空間概念
1.2.2 子空間跟蹤方法
1.2.3 基于優化理論的子空間跟蹤
1.2.4 子空間跟蹤方法的性能分析
1.3 總體最小二乘技術
參考文獻
第二章 矩陣的奇異值與特征值分析
2.1 引言
2.2 矩陣的奇異值分析
2.2.1 奇異值分解
2.2.2 奇異值的性質
2.3 矩陣的特征分析
2.3.1 特征值問題與特征方程
2.3.2 特征值與特征向量
2.3.3 Hermitian特征值分解
2.4 Rayleigh商及其特性
2.4.1 Rayleigh商
2.4.2 Rayleigh商迭代
2.4.3 Rayleigh商求解的梯度和共軛梯度算法
2.4.4 廣義Rayleigh商
2.5 本章小結
參考文獻
第三章 主成分分析神經網絡與算法
3.1 引言
3.1.1 主成分分析
3.1.2 Hebbian學習規則
3.1.3 Oja學習規則
3.2 基于Hebbian規則的主成分分析
3.2.1 子空間學習算法
3.2.2 Generalized Hebbian算法
3.2.3 其他基于Hebbian規則的算法
3.3 基于優化方法的主成分分析
3.3.1 最小均方誤差重構算法
3.3.2 投影逼近子空間跟蹤算法和PASTd算法
3.3.3 魯棒RLS算法
3.3.4 NIC算法
3.3.5 成對的主成分分析算法
3.4 有側向連接的主成分分析
3.4.1 Rubner-Tavan主成分分析算法
3.4.2 APEX主成分分析算法
3.5 非線性主成分分析
3.5.1 核主成分分析算法
3.5.2 魯棒/非線性主成分分析算法
3.5.3 基于自聯想神經網絡的主成分分析
3.6 其他主成分分析
3.6.1 約束主成分分析
3.6.2 局部主成分分析
3.6.3 復數域主成分分析
3.6.4 主成分分析的其他推廣
3.7 互相關非對稱網絡主奇異成分分析
3.7.1 提取多個主奇異成分
3.7.2 提取最大主奇異成分
3.7.3 提取非方矩陣的多個主奇異成分
3.8 本章小結
參考文獻
第四章 次成分分析神經網絡及性能分析
4.1 引言
4.1.1 次成分神經網絡算法
4.1.2 次成分神經網絡算法存在的問題
4.1.3 次成分神經網絡算法的發展
4.2 次成分分析神經網絡與算法
4.2.1 提取第一個次成分算法
4.2.2 次子空間跟蹤算法
4.2.3 多個次成分提取
4.2.4 自穩定次成分分析
4.2.5 正交化的Oja算法
4.2.6 其他次成分分析算法
4.3 次成分分析神經網絡算法發散現象分析
4.3.1 普通發散現象
4.3.2 突然發散現象
4.3.3 不穩定發散現象
4.3.4 數值發散現象
4.3.5 自穩定特性分析
4.4 高維數據流的次子空間跟蹤神經網絡算法
4.4.1 次子空間及其跟蹤算法
4.4.2 一種自穩定的次成分分析算法
4.4.3 通過DCT方法對算法收斂性能的分析
4.4.4 算法的發散性能分析
4.4.5 通過SDT方法的算法自穩定特性分析
4.4.6 次子空間跟蹤算法
參考文獻
第五章 特征信息網絡確定性離散時間系統
5.1 引言
5.2 神經網絡確定性離散時間系統
5.3 Hebbian神經元網絡確定性離散時間系統行為分析
5.3.1 DCT近似及局限性
5.3.2 Oja算法DDT系統及局部性能分析
5.3.3 Oja算法DDT系統的全局性能分析
5.4 一種新的自穩定次成分分析算法及確定性離散時間系統分析
5.4.1 新的自穩定次成分分析算法的提出
5.4.2 通過確定性DDT系統對算法的收斂性能分析
5.4.3 通過確定性DDT系統對算法的穩定性能分析
5.4.4 計算機仿真實驗
5.5 統一的主/次成分分析學習算法及確定性離散時間學習分析
5.5.1 算法的收斂特性分析
5.5.2 計算機仿真
5.6 本章小結
參考文獻
第六章 雙目的主/次子空間神經網絡跟蹤算法
6.1 引言
6.2 雙目的特征提取神經網絡方法
6.2.1 雙目的特征提取的必要性
6.2.2 Chen雙目的特征提取方法
6.2.3 其他幾種雙目的方法的簡要分析
6.3 一種新的雙目的特征提取神經網絡算法
6.3.1 預備知識
6.3.2 一個新穎的信息準則及其前景
6.3.3 新的雙目的主/次子空間梯度流
6.3.4 計算機仿真實驗
6.3.5 定理的證明與推導
6.3.6 算法小結
6.4 本章小結
參考文獻
第七章 總體最小二乘與神經網絡迭代求取算法
7.1 引言
7.2 總體最小二乘方法
7.2.1 經典總體最小二乘
7.2.2 加權總體最小二乘
7.2.3 結構總體最小二乘
7.3 總體最小二乘遞歸類方法
7.3.1 Davila RTLS算法
7.3.2 Feng快速RTLS算法
7.3.3 FengAIP算法
7.4 總體最小二乘神經網絡方法
7.4.1 總體最小二乘神經網絡方法
7.4.2 GAO TLS神經元方法
7.4.3 EXINTLS神經元方法
7.4.4 Bruce混合LS-TLS算法
7.5 一個新的總體最小二乘線性核及其自穩定算法
7.5.1 采用DCT對所提算法的性能分析
7.5.2 采用SDT對所提算法的瞬態行為分析
7.5.3 計算機仿真實驗
7.6 本章小結
參考文獻
第八章 特征信息提取神經網絡與算法應用
8.1 引言
8.2 主成分提取神經網絡與算法的應用
8.2.1 通信中的特征提取與降維
8.2.2 圖像處理中的數據壓縮
8.2.3 多重信號分類和波達方向估計
8.3 次成分提取神經網絡與算法的應用
8.3.1 曲線與曲面匹配應用
8.3.2 Pisarenko法譜估計
8.4 總體最小二乘神經網絡與算法的應用
8.4.1 FIR自適應濾波的總體最小二乘算法
8.4.2 在線參數估計中的應用
8.4.3 在自適應控制中的應用
8.4.4 在復雜系統故障診斷中的應用
8.5 本章小結
參考文獻
第一章 緒論
1.1 特征信息提取
復雜系統輸出信號中包含著豐富的反映系統本質屬性的特征信息，如何描述并提取這些特征信息，進一步如何應用這些特征信息？這些問題引起了信息領域學者的廣泛關注，新技術、新算法不斷出現，形成了信號處理、數據分析和神經網絡領域非常活躍的研究熱點。經過這些年的發展，特征信息提取技術形成了主成分分析、次成分分析、子空間跟蹤和獨立成分分析等不同的研究方向，這幾個研究方向之間既有聯系，又有相對的獨立性。
1.1.1 主/次成分分析與子空間跟蹤
主成分（principalcomponent，PC）是指信號有最大偏差的方向，只利用數據向量的K個主分量進行的數據或者信號分析稱為主成分分析（principalcomponentanalysis，PCA）。次成分（minorcomponent，MC）是指信號有最小偏差的方向，基于次成分的信號分析、系統分析或者模式分析則統稱為次成分分析（minorcomponentanalysis，MCA）。主成分分析在數據或圖像壓縮、多重信號分類、波達方向估計、通信技術等領域得到廣泛應用，而次成分分析也已經應用在總體最小二乘（totalleastsquare，TLS）、運動目標識別、曲線與曲面匹配、數字成形束、頻域估計和故障診斷等領域。通常主/次成分分析都是單維的，而實際中主成分或次成分以多維為主。與數據向量的自相關矩陣r個最小特征值對應的特征向量被稱為次成分。與數據向量的自相關矩陣的r個最大特征值對應的特征向量被稱為主成分，這里r是主成分或次成分的個數。在一些實際應用中，有時并非要得到多個主成分或者次成分，而只要求跟蹤由特征成分張成的子空間。這里將主成分張成的子空間稱為主子空間（principalsubspace，PS），而將由次成分張成的子空間稱為次子空間（minorsubspace，MS）。一個對稱矩陣的主成分和次成分分析器可以分別收斂到主成分和次成分。類似地，一個對稱矩陣的主子空間和次子空間分析器可以分別收斂到一個主子空間和次子空間。主子空間是由一個高維向量序列的自相關矩陣的主特征值相關的所有特征向量張成的一個子空間，而與該高維向量序列的自相關矩陣的次特征值相關的所有特征向量所張成而形成的子空間被稱為次子空間。主子空間有時也稱為信號子空間，而次子空間也稱為噪聲子空間。主子空間分析（principalsubspaceanalysis，PSA）為許多信息處理領域，如特征提取和數據壓縮等提供了有效的方法。在許多實時信號處理領域，如自適應方向波達方向估計、自適應信號處理中的總體最小二乘的自適應解、曲線與曲面匹配等應用中，次子空間分析（minorsubspaceanalysis，MSA）是一個主要的需求。
通過數學分析，可以得出結論：所謂數據的主成分就是數據向量自相關矩陣的最大特征值所對應的特征向量，而數據的次成分是數據向量自相關矩陣的最小特征值所對應的特征向量。這樣通過數學上相關矩陣特征值處理或數據矩陣奇異值處理可以得到主成分或次成分。相關矩陣特征值或數據矩陣奇異值處理的方法是基于數據的集中處理，本質上是一種批處理算法，無法實時應用，而且對于維數大的數據來說，其計算復雜度是相當大的，也容易出現數據不穩定的情況。這樣尋求可以實時處理、迭代運算、數值穩定、算法簡單的主成分分析、次成分分析方法或者子空間跟蹤是近20年來國際上自動控制、信號處理和神經網絡領域的一個研究熱點，受到廣泛關注。
1.1.2 主/次成分神經網絡分析算法
為了實現特征信息的在線迭代與自適應提取，大量的迭代及自適應算法被提出，主/次成分分析或者主/次子空間跟蹤迭代求取算法包括逆迭代、常規的和逆Chebyshev迭代、Rayleigh商迭代、神經網絡等方法。其中神經網絡方法是一種有效的迭代求取算法，尤其是求取主/次成分的單層神經網絡及其Hebbian型算法由于其算法的簡單性和有效性受到人們的高度重視，得到迅速發展，成為自適應主/次成分分析的主流算法。在該類神經網絡算法的研究中，新算法不斷出現，算法的性能也得到深入透徹的研究。芬蘭學者Oja［1］和華裔學者Xu［2］等是該領域的開創者，他們的工作為該領域的發展奠定了良好的基礎。
早在1979年，Thompson［3］就提出了估計與樣本協方差矩陣最小特征值對應的特征向量的最小均方（LMS）型自適應方法，并結合Pisarenko譜估計子提供了角度/頻率的自適應跟蹤算法。其后，許多學者開展了特征向量及其子空間跟蹤算法的研究［4］更多的是跟蹤信號子空間算法的研究，有的同時更新特征值和特征向量，有的是采用，矩陣理論計算如經典的特征值分解/奇異值分解的批處理方法，有的采用優化理論來解決子空間跟蹤問題［5］。
在主子空間神經網絡跟蹤研究領域，基于啟發式推理的算法，如Oja算法［6］、對稱誤差修正算法［7］和對稱后向傳播算法［8］等相繼被提出。分析表明，這幾個算法本質上是相同的，被通稱為Oja算法。后來，最小均方誤差重構算法（LMSER）被提出［9］，在該算法中著名的梯度搜索概念用來最小化一個均方誤差。不像Oja算法，該算法是全局收斂的，因為只有主子空間實現均方誤差的全局最小而均方誤差的其他平穩點都是鞍點。基于該均方誤差，投影近似子空間跟蹤算法（PAST）［10］、共軛梯度算法［11］、高斯牛頓方法［12］等算法被提出。近來，一個新穎的信息準則（NIC）被提出，基于該準則，一種新穎的梯度算法和遞歸類主子空間跟蹤算法被提出［13］。后來，基于NIC準則和加權矩陣，一個快速提取多個主成分的梯度算法和遞歸類算法被提出［14］。
20世紀90年代以來，基于反饋神經網絡模型進行次子空間跟蹤受到高度關注，相繼有多個次子空間神經網絡跟蹤算法被提出來［15～22］。使用膨脹方法，Luo等［15］提出了一個次子空間分析算法，該算法在運行過程中不需要任何標準化操作；Douglas等［16］提出了一個自穩定的次子空間分析算法，該算法不需要周期性的標準化操作，也沒有矩陣的逆運算；Chiang等［17］顯示出一個學習算法采用合適的初始化而不是膨脹方法，就可以并行抽取多個次成分。基于一個信息準則，Ouyang等［4］提出了一個自適應次成分跟蹤器，該算法可以自動發現次子空間而不需要采用膨脹方法。近年來，Feng等［19］提出了一個OJAm算法，將該算法推廣到用來跟蹤多個次成分或次子空間，使相應的狀態矩陣收斂到次子空間的列正交基。最近，性能更為優良的次成分及子空間跟蹤算法［23～25］被提出來，該領域新算法仍然在不斷發展中。
1.1.3 該領域目前的研究熱點
1.神經網絡主/次成分分析算法的收斂性與穩定性分析
對迭代或神經網絡算法進行收斂性和穩定性分析是主/次成分分析領域十多年來的研究熱點。算法收斂性與穩定性的直接研究和分析是一個非常難的課題，傳統上這些算法的收斂性是通過某種確定性的連續時間系統（deterministiccontinuoustime，DCT）來間接分析的。由隨機系統描述的特征提取神經網絡算法可以由相應的確定性連續時間系統來表示，這種表示需要許多假設性條件，其中之一是要求學習因子收斂到零，這在很多實際應用是一個強加的不合理的要求。通過DCT系統證明已經收斂的算法，是否存在發散或不穩定的可能？2002年意大利學者Cirrincione等對一些次成分分析神經網絡學習算法進行了研究［20］，首次根據黎曼度量來分類次成分分析線性核，并通過誤差損失退化的分析證明了在接近收斂的時候算法的不同行為。同時，對算法進行了直接的隨機離散時間系統（stochasticdiscretetime，SDT）分析，發現了突然發散、動態發散和數值發散，這一發現推動了該領域的研究。然而，DCT和SDT雖然可以分析得出算法是否收斂與穩定，卻不能求出具體收斂與穩定的充分條件或邊界條件。西班牙學者Zufiria［26］提出一種確定性的離散時間系統（deterministicdiscretetime，DDT）來間接解釋由隨機離散時間系統描述的神經網絡學習算法的動力學系統，DDT刻畫的是核節點的平均進化行為，保持了原網絡的離散時間形式，要求學習因子保持常數，得到的是該類學習算法的更真實的動態行為。在此基礎上，近年來我國學者Yi等［27］研究團隊對DDT方法進行了深入研究和推廣，研究了幾乎所有現有的主/次成分分析神經網絡學習算法，推導了一系列算法各自收斂和穩定的成分條件及邊界條件，大大推進了次成分分析神經網絡學習算法性能的研究，形成了從2005～2009年國際上神經網絡領域的一個學術研究熱點。
2.神經網絡主/次成分分析自穩定算法
一個神經網絡主/次成分分析方法以及主/次子空間跟蹤算法如果在算法迭代更新過程中，神經網絡的權向量或權矩陣的模值隨著時間的進行發散到無窮，則不利于算法的實際應用。解決的途徑有兩個，一是在迭代更新過程中每步或者定期將權向量或權矩陣的模值實行規范化處理，使其模值長度等于1；另一種探索權向量模值自穩定的算法［16，19，21］，無論初始權向量模值大小，使算法在更新過程中權向量或權矩陣的模值自動收斂于某一固定值或者為1。為了克服神經網絡算法在迭代過程中權向量模值發散問題，尋求權向量模值自穩定的主/次成分神經網絡算法是該領域一個研究熱點，在這些自穩定的學習算法中，神經網絡核的權向量保證收斂到一個規范化的主/次成分或者神經網絡核的權矩陣保證收斂到一個規范化的主/次子空間。當前，自穩定特性已經成為神經網絡主/次成分分析方法及主/次子空間跟蹤算法的一個必備的特性。
3.統一或雙目的主/次成分分析自穩定算法
最初的主/次成分分析算法以及主/次子空間分析是各自獨立發展的，大量的算法被提出來，并得到廣泛的應用。主成分與次成分算法之間存在怎樣的關系？一個自然的想法是在一個主成分分析（或者主子空間跟蹤）算法中，通過改變相關矩陣的符號或者取原矩陣的逆矩陣，或者僅僅改變學習因子的符號便可以實現次成分分析（或者次子空間跟蹤），反過來也一樣。實踐證明這樣的變換常常不成立，要么不能實現另一種成分分析或者子空間跟蹤，要么雖然可以實現預期的功能但是算法更新過程中，神經網絡的權向量或者權矩陣由收斂變成發散。在文獻［28］，［29］中，Chen等提出了主成分分析/主子空間分析和次成分分析/次子空間分析之間的一種轉換機制，分析顯示通過這種轉換機制，每一個主成分分析算法都配有一個次成分分析算法，反過來也一樣。這樣基本解決了上述問題，通過這一轉換機制，導出的雙目算法具有不同的算法結構形式。那么，是否有一個統一的神經網絡算法，該算法僅僅通過改變同一學習規則中的符號就能夠進行主成分分析與次成分分析或者主/次子空間跟蹤，無疑這樣的算法更具有現實意義，可以減少硬件設施的復雜性和成本。近十多年來，尋求統一或雙目的主/次成分分析（或者主/次子空間分析）算法是該領域的一個研究熱點［29～31］。
1.2 特征提取與子空間跟蹤基礎
由次成分張成的子空間稱為次子空間，而由主成分張成的子空間稱為主子空間，單維主成分分析或單維次成分分析可以認為是主子空間跟蹤或次子空間跟蹤的特殊形式。在主成分或次成分神經網絡領域，芬蘭學者Oja等作出了開創性的工作。為了對次成分、主成分、次子空間以及主子空間及其應用有一個清晰的理解，下面從子空間的角度對這些概念及其數學描述與物理意義進行介紹［5］。
新書資訊