《混合神經網絡技術（第二版）》在論述神經網絡基本概念和基本原理的基礎上，重點介紹混合神經網絡技術，同時，介紹各種混合神經網絡技術在電磁建模和優化問題中的應用。《混合神經網絡技術（第二版）》共11章，內容主要包括神經網絡的基本概念、基礎知識、BP神經網絡、RBF神經網絡、Hopfield神經網絡、粒子群神經網絡、模糊神經網絡、混沌神經網絡、小波神經網絡、知識神經網絡和神經網絡集成。
《混合神經網絡技術（第二版）》可供從事神經網絡理論與技術、計算電磁學、電磁場工程等領域研究和開發工作的科技人員和高校教師參考閱讀，也可作為高等院校相關專業的高年級本科生和研究生的教學用書。
第1章緒論
人類具有高度發達的大腦，大腦是思維活動的物質基礎，而思維是人類智能的集中體現。長期以來，人們想方設法了解人腦的工作機理和思維本質，向往構造出人工智能系統來模仿人腦的功能，其中的一個重要成果就是人工神經網絡（artificial neural networks，ANN）。本章主要講述人工神經網絡的概念、基本性質、基本功能和應用，以及人工神經網絡的性能指標、研究內容和發展趨勢，*后介紹人工神經網絡的電磁應用。
1.1神經網絡的概念與分類
1.1.1神經網絡的概念
人工神經網絡又稱神經網絡（neural network）、人工神經系統（artificial neural systems）、自適應系統（adaptive systems）、自適應網（adaptive networks）、連接模型（connectionism）、神經計算機（neurocomputer）等，它是在對人腦認識的基礎上，以數學和物理方法及從信息處理的角度對人腦生物神經網絡（biological neural network，BNN）進行抽象并建立起來的某種簡化模型。它是對人類大腦系統特性的一種描述，是由多個非常簡單的處理單元彼此按某種方式連接而形成的計算機系統，該系統是靠其狀態對外部輸入信息的動態響應來處理信息的。簡單地講，人工神經網絡是一個數學模型，可以用電子線路來實現，也可以用計算機程序來模擬，是人工智能研究的一種方法。
1.1.2神經網絡的分類
到目前為止，神經網絡已經有幾十種不同的模型，按照不同的原則，可以對神經網絡進行不同的分類，通常有以下5類\[1~4\]:
�。�1）按照網絡的結構進行分類：前饋網絡、反饋網絡和自組織網絡。
�。�2）按照學習方式進行分類：有導師學習網絡和無導師學習網絡。
�。�3）按照網絡的性能進行分類：連續型網絡和離散型網絡、隨機型網絡和確定型網絡。
�。�4）按照突觸性質進行分類：一階線性并聯網絡和高階非線性并聯網絡。
（5）按照對生物神經系統的層次模擬分類：神經元層次模型、組合式模型、網絡層次模型、神經系統層次模型和智能型模型。
在人工神經網絡的設計與應用過程中，人們較多地考慮神經網絡的互聯結構，包括５種典型結構\[5\]，如圖1.1所示。
�。╝）
（b）
（c）
�。╠）
�。╡）
圖1.1神經網絡的拓撲結構
（1）前饋網絡。前饋網絡中，神經元是分層排列的，每個神經元只與前一層的神經元相連，如圖1.1（a）所示。*上一層為輸出層，*下一層為輸入層，還有中間層，中間層也稱為隱層，隱層的層數可以是一層或多層。
�。�2）輸入輸出有反饋的前饋網絡。如圖1.1（b）所示，在輸出層上存在一個反饋回路到輸入層，而網絡本身還是前饋型的。該種神經網絡的輸入層不僅接受外界的輸入信號，也接受網絡自身的輸出反饋信號。輸出反饋信號可以是原始輸出信號，也可以是經過轉化的輸出信號；可以是本時刻的信號，也可以是經過一定延遲的信號。此種網絡經常用于系統控制、實時信號處理等需要根據系統當前狀態進行調節的場合。
�。�3）前饋內層互聯網絡。如圖1.1（c）所示，在同一層內存在互相連接，它們可以形成互相制約，而從外部看還是一個前向網絡，很多自組織網絡大都存在內層互聯的結構。
�。�4）反饋型全互聯網絡。圖1.1（d）所示的網絡是一種單層全互聯網絡，每個神經元的輸出都與其他神經元相連，如Hopfield神經網絡和Boltzmann機都是屬于這一類網絡。
（5）反饋型局部連接網絡。圖1.1（e）所示的網絡是一種單層網絡，它的每個神經元的輸出只與其周圍的神經元相連形成反饋的網絡，這類網絡也可發展為多層的金字塔形的結構。
目前，**代表性的前饋神經網絡模型有：①反向傳播（back propagation，BP）神經網絡。它是一種多層前饋網絡，采用*小均方差的學習方式，是使用*廣泛的網絡。這個網絡的缺點是為有導師訓練，訓練時間較長，易于陷入局部極小等。②徑向基函數（radia basis function，RBF）神經網絡。它是一種非常有效的多層前饋網絡，其神經元基函數具有僅在微小局部范圍內才產生有效的非零響應的局部特性，因而可以在學習過程中獲得高速化。這個網絡的缺點是由于高斯函數的特性，該網絡難以學習映射的高頻部分。**代表性的反饋網絡模型是Hopfield神經網絡，該網絡是由相同的神經元構成的單層網絡，并且是不具學習功能的自聯想網絡，它需要對稱連接。這個網絡可以完成制約優化和聯想記憶（associative memory，AM）等功能。
1.2神經網絡的基本特征和基本功能
1.2.1神經網絡的基本特征
神經網絡的基本特征可歸結為結構特征和能力特征。
�。�1）結構特征——并行處理、分布式存儲與容錯性。人工神經網絡是由大量的簡單處理單元相互連接構成的高度并行的非線性系統，具有大規模并行性處理特征。雖然每個處理單元的功能十分簡單，但大量簡單處理單元的并行活動使網絡呈現出豐富的功能，并具有較快的速度。結構上的并行性使神經網絡的信息存儲必然采用分布式方式，即信息不是存儲在網絡的某個局部，而是分布在網絡所有的連接權中。神經網絡內在的并行性與分布性表現在其信息的存儲與處理都是在空間上分布、時間上并行的，這兩個特點必然使神經網絡在兩個方面表現出良好的容錯性：一方面由于信息的分布式存儲，當網絡中部分神經元損壞時不會對系統的整體性能造成影響，這一點就像人腦中每天都有神經細胞正常死亡而不會影響大腦的功能一樣；另一方面當輸入模糊、殘缺或變形的信息時，神經網絡能夠通過聯想恢復出完整的記憶，從而實現對不完整輸入信息的正確識別，這一點就像人可以對不規則的手寫字進行正確識別一樣。
�。�2）能力特征——自學習、自組織與自適應性。自適應性是指一個系統能夠改變自身的性能以適應環境變化的能力，它是神經網絡的一個重要特征。自適應性包含自學習與自組織兩層含義。神經網絡的自學習是指當外界環境發生變化時，經過一段時間的訓練或感知，神經網絡能夠通過自動調整網絡結構參數，對給定輸入能產生期望的輸出。訓練是神經網絡學習的途徑，因此，經常將學習與訓練兩個詞混用，神經系統能在外部刺激下按一定規則調整神經元之間的突觸連接，逐漸構建起神經網絡，這一構建過程稱為網絡的自組織。神經網絡的自組織能力與自適應性相關，自適應性是通過自組織實現的。
1.2.2神經網絡的基本功能
�。�1）聯想記憶。由于神經網絡具有分布存儲信息和并行計算的性能，因此，它具有對外界刺激信息和輸入模式進行聯想記憶的能力，這種能力是通過神經元之間的協同結構及信息處理的集體行為實現的。神經網絡是通過其突觸權值和連接結構來表達信息的記憶，這種分布式存儲使神經網絡能存儲較多的復雜模式和恢復記憶的信息。神經網絡通過預先存儲信息和學習機制進行自適應訓練，可以從不完整的信息和噪聲干擾中恢復原始的完整信息，這一能力使其在圖像復原、圖像和語音處理、模式識別、分類等方面具有巨大的潛在應用價值。
�。�2）非線性映射。在客觀世界中，許多系統的輸入與輸出之間存在復雜的非線性關系，對于這類系統，往往很難用傳統的數理方法建立其數學模型。設計合理的神經網絡通過對系統輸入輸出樣本對進行自動學習，能夠以任意精度逼近任意復雜的非線性映射。神經網絡的這一優良性能使其可以作為多維非線性函數的通用數學模型，該模型的表達是非解析的，輸入輸出數據之間的映射規則由神經網絡在學習階段自動抽取并分布式存儲在網絡的所有連接中。
（3）分類與識別。神經網絡對外界輸入樣本具有很強的識別和分類能力。對輸入樣本的分類實際上是在樣本空間找出符合分類要求的分割區域，每個區域內的樣本屬于一類。傳統分類方法只適合解決同類相聚、異類分離的識別與分類問題，但客觀世界中，許多事物在樣本空間上的區域分割曲面是十分復雜的，相近的樣本可能屬于不同的類，而遠離的樣本可能同屬一類。神經網絡可以很好地解決對非線性曲面的逼近，因此，比傳統的分類器具有更好的分類和識別能力。
�。�4）優化計算。優化計算是指在已知的約束條件下尋找一組參數組合，使由該組合確定的目標函數達到*小值。某些類型的神經網絡可以把待求解問題的可變參數設計為網絡的狀態，將目標函數設計為網絡的能量函數，神經網絡經過動態演變過程達到穩定狀態時對應的能量函數*小，從而其穩定狀態就是問題的**解。這種優化計算不需要對目標函數求導，其結果是網絡自動給出的。
（5）知識處理。神經網絡獲得知識的途徑與人類相似，也是從對象的輸入輸出信息中抽取規律而獲得關于對象的知識，并將知識分布在網絡的連接中予以存儲。神經網絡的知識抽取能力使其能夠在沒有任何先驗知識的情況下自動地從輸入數據中提取特征，發現規律，并通過自組織過程將自身構建成適合于表達所發現的規律。另外，人的先驗知識可以大大提高神經網絡的知識處理能力。兩者相結合會進一步提升神經網絡的智能。
1.3神經網絡的基本性質、優點及應用
1.3.1神經網絡的基本性質
神經網絡的基本性質主要包括收斂性、容錯性、魯棒性及推廣性等。
神經網絡的收斂性是指神經網絡的訓練算法在有限次迭代之后可收斂到正確的權值或權向量。神經網絡良好的容錯性保證網絡將不完整的、污損的、畸變的輸入樣本恢復成完整的原型。容錯性的研究歸結于神經網絡動力系統記憶模式吸引域的大小，吸引域越大，網絡從部分信息恢復全部信息的能力越大，表明網絡的容錯性越大。神經網絡的高度魯棒性使網絡中的神經元或突觸遭到破壞時網絡仍然具有學習和記憶能力，從而使網絡表現出高度的自組織性。研究表明，如果記憶模式的吸引域越“規則”，那么網絡抵抗干擾、噪聲或自身損害的能力就越強，即魯棒性越好。訓練好的神經網絡應能夠對不屬于訓練樣本集合的輸入樣本正確識別或分類，這種現象常稱為神經網絡具有良好的推廣性。
人工神經網絡的操作有兩種過程：一是訓練學習，二是正常操作或稱回憶。訓練時，把要教給網絡的信息（外部輸入）作為網絡的輸入和要求的輸出，使網絡按某種規則（訓練算法）調節各處理單元間的連接權值，直到加上給定輸入后網絡就能產生給定輸出為止。這時，各連接權已經調節好，網絡的訓練完成。所謂正常操作，就是對訓練好的網絡輸入一個信號，它就可以正確回憶出相應輸出。不論是訓練網絡還是操作網絡，人工神經網絡的狀態總是變化的。所謂神經網絡的狀態，是指神經網絡所有節點的輸出信號值。狀態變化可以指某個節點的狀態變化，也可指所有節點的狀態變化。神經網絡的這種動態特性受兩種性能的約束，即系統的整體穩定性和收斂性。所謂穩定的神經網絡，定義為這樣一種非線性動態系統：當在該系統上加入一初始輸入時，系統的狀態發生變化，但*后達到一固定點（收斂點或均衡點），這些固定點就是存儲信息的點。雖然穩定的神經網絡總能保證所有輸入被映射到固定點，但不能保證該固定點就是要求的固定點。不難理解，神經網絡的穩定性是與反饋網絡的回憶操作相聯系的，這種反饋網絡的穩定性可以用Lyapunov準則進行判定。收斂性是指在訓練過程中，輸出節點的實際輸出值與要求的輸出值之間的誤差，*后能達到可接受的*小值。一般要求收斂過程迅速和精確，即輸出能盡快趨于目標值。顯然，收斂性是與有指導的訓練操作相聯系，收斂過程嚴格依賴于所采用的具體訓練算法和訓練參數。
1.3.2神經網絡的優點
�。�1）很強的魯棒性和容錯性。這是因為信息是分布存儲于網絡內的神經元中。
（2）并行處理方法。人工神經網絡在結構上是并行的，而且網絡的各個單元可以同時進行類似的處理過程，使計算快速。
�。�3）自學習、自組織、自適應性。神經元之間的連接多種多樣，各神經元之間連接強度具有一定可塑性，使得神經網絡可以處理不確定或不知道的系統。
�。�4）可以充分逼近任意復雜的非線性關系。
（5）具有很強的信息綜合能力。能同時處理定量和定性的信息，能很好地協調多種輸入信息關系，適用于處理復雜非線性和不確定對象。
……
新書資訊