《人工神經網絡原理》介紹了人工神經網絡的基本理論,系統地闡述了六種典型的人工神經網絡模型,即早期的感知機神經網絡、自適應線性元件神經網絡、誤差反向傳播神經網絡、Hopfield神經網絡、B0ltzmann機和自適應共振理論神經網絡,以及它們的網絡結構、學習算法、工作原理及應用實例,為讀者深入了解和研究人工神經網絡奠定了基礎。
為了滿足讀者應用人工神經網絡解決實際問題的需要,書中還介紹了人工神經網絡應用開發設計的全過程,并在附錄中給出了BP神經網絡實現預測、Hop6eld神經網絡實現圖像自聯想記憶、模擬退火算法實現TSP和ARTI神經網絡的源程序,供讀者參考。作為擴充知識,書中也簡單介紹了人工神經網絡的實現,以及人工神經網絡技術與傳統的基于規則的專家系統和模糊系統的融合。
《人工神經網絡原理》既可作為計算機科學與技術、電子、通信與自動控制等相關專業的研究生和高年級本科生的參考書,也可作為相關專業領域的科研人員和工程技術人員的學習參考書。
作者在多年來為研究生講授“人工神經網絡”課程講義的基礎上,結合部分相關研究成果,并參考國內外學者編著的相關書籍和文獻資料撰寫完成此書,力圖為高等院校計算機科學與技術、電子、通信與自動控制等相關專業的研究生和高年級本科生,以及相關專業領域的科研人員和工程技術人員提供一本系統介紹人工神經網絡基本理論和典型模型的教材和參考書籍。 本書注重了內容的選擇和編排,圍繞從理論到實踐的主線,從介紹人工神經網絡的基本概念、背景和歷史入手,以人工神經網絡模型信息處理性能的三個關鍵特性作為基礎,以網絡結構、學習算法、工作原理以及應用實例為核心詳細介紹典型人工神經網絡模型,以人工神經網絡應用開發設計方法和實現帶動理論聯系實踐,并通過對人工神經網絡發展的簡介啟迪讀者進行更深入的研究和應用開發。
人工神經網絡是一門新興交叉學科,它從人腦的生理結構出發,探討人類智能活動的機理,對人類智能進行模擬。隨著對人腦生物神經網絡的深入了解,人工神經網絡的研究獲得了長足發展。自20世紀80年代中后期以來,人工神經網絡的研究吸引著眾多不同領域的研究人員,在人工神經網絡模型、網絡的拓撲結構、學習算法和運行機制等方面取得了很多突破性進展。人工神經網絡在組合優化、模式識別、圖像處理、自動控制、機器人控制、信號處理等應用領域也獲得了成功,顯示出了巨大的潛力。
目前,人工神經網絡的研究和應用方興未艾,已經成為人工智能學科的一個重要研究方向和研究熱點。為了適應人工神經網絡的發展形勢,需不斷探索和研究人工神經網絡的基本理論,普及人工神經網絡的基礎知識,培養人工神經網絡應用和研究型人才。作者在多年來為研究生講授“人工神經網絡”課程講義的基礎上,結合部分相關研究成果,并參考國內外學者編著的相關書籍和文獻資料撰寫完成此書,力圖為高等院校計算機科學與技術、電子、通信與自動控制等相關專業的研究生和高年級本科生,以及相關專業領域的科研人員和工程技術人員提供一本系統介紹人工神經網絡基本理論和典型模型的教材和參考書籍。
在本書的編寫過程中,注重了內容的選擇和編排,圍繞從理論到實踐的主線,從介紹人工神經網絡的基本概念、背景和歷史人手,以人工神經網絡模型信息處理性能的三個關鍵特性作為基礎,以網絡結構、學習算法、工作原理以及應用實例為核心詳細介紹典型人工神經網絡模型,以人工神經網絡應用開發設計方法和實現帶動理論聯系實踐,并通過對人工神經網絡發展的簡介啟迪讀者進行更深人的研究和應用開發。
全書共分10章。第1章介紹人工神經網絡的基本概念、發展歷史、特點、功能、主要研究方向和應用領域,并對人工神經網絡技術和基于符號的人工智能技術及傳統計算技術進行了比較;第2章介紹生物神經元的結構與功能,提出了人工神經元的數學模型、常用的轉移函數、最早的M-P人工神經元模型,以及人工神經網絡的互連結構和學習方式及規則;第3章介紹早期的感知機模型和自適應線性元件(ADALINE)的拓撲結構、處理單元模型及學習算法;第4章介紹采用誤差反向傳播學習算法的BP神經網絡的提出、基本結構及處理單元的數學模型,以及標準BP學習算法的數學基礎、局限性及改進和BP神經網絡的主要能力及兩個應用實例;第5章介紹離散型和連續型Hopfield神經網絡的基本結構、處理單元模型、能量函數和狀態,離散型Hopfield神經網絡的運行規則、連接權值設計和信息存儲容量,以及應用于聯想記憶的離散型Hopfield神經網絡和應用于優化計算的連續型Hopfield神經網絡的兩個實例;第6章介紹隨機型神經網絡及模擬退火算法,Boltzmann機的網絡結構、處理單元模型、能量函數、Boltzmann分布、運行規則以及學習規則;第7章介紹自組織神經網絡的提出、基本競爭學習的概念和規則,以及自適應共振理論神經網絡的提出、特點和兩種模型:ARTI神經網絡和ART2神經網絡;第8章介紹人工神經網絡應用的特點、適用范圍和設計開發過程,并介紹人工神經網絡模型的選取、設計和實現;第9章介紹人工神經網絡實現的發展歷史、兩種不同的實現方案的分類方法,以及人工神經網絡的虛擬實現。
出版說明
前言
第1章 緒論
1.1 人工神經網絡的概念
1.2 人工神經網絡的發展歷史
1.2.1 興起時期
1.2.2 蕭條時期
1.2.3 興盛時期
1.2.4 高潮時期
1.3 人工神經網絡的特點
1.4 人工神經網絡的信息處理能力
1.5 人工神經網絡的功能
1.6 人工神經網絡的應用
1.7 人工神經網絡的主要研究方向
1.8 人工神經網絡與人工智能
1.9 人工神經網絡與傳統計算
1.10 本章小結
1.11 習題
第2章 人工神經網絡基礎
2.1 生物神經系統
2.1.1 生物神經元的結構
2.1.2 生物神經元的功能
2.2 人工神經元模型
2.2.1 人工神經元的形式化描述
2.2.2 轉移函數
2.3 M-P模型
2.3.1 標準M-P模型
2.3.2 延時M-P模型
2.3.3 改進的M-P模型
2.4 人工神經網絡的互連結構
2.5 人工神經網絡的學習
2.5.1 人工神經網絡的學習方式
2.5.2 基本的神經網絡學習規則
2.6 本章小結
2.7 習題
第3章 早期的自適應神經網絡模型
3.1 感知機
3.1.1 感知機模型結構
3.1.2 感知機處理單元模型
3.1.3 感知機學習算法
3.1.4 感知機的局限性
3.1.5 感知機的收斂性
3.2 自適應線性元件
3.2.1 ADALINE模型結構
3.2.2 ADALINE學習算法
3.3 本章小結
3.4 習題
第4章 誤差反向傳播神經網絡
4.1 誤差反向傳播神經網絡的提出
4.2 誤差反向傳播神經網絡結構
4.3 誤差反向傳播神經網絡處理單元模型
4.4 誤差反向傳播學習算法
4.5 誤差反向傳播學習算法的數學基礎
4.6 誤差反向傳播學習算法的改進
4.6.1 BP算法存在的問題
4.6.2 累積誤差校正算法
4.6.3 Sigmoid函數輸出限幅的BP算法
4.6.4 增加動量項的BP算法
4.6.5 學習速率自適應調整算法
4.7 隱含層的特征抽取作用
4.8 誤差反向傳播神經網絡應用實例
4.8.1 BP神經網絡的主要能力
4.8.2 BP神經網絡在入侵檢測中的應用
4.8.3 BP神經網絡在股票市場中的應用
4.9 本章小結
4.10 習題
第5章 Hopfield神經網絡
5.1 離散型Hopfield神經網絡
5.I.1 離散型Hopfield神經網絡結構
5.1.2 離散型Hopfield神經網絡處理單元模型
5.1.3 離散型Hopfi61d神經網絡的狀態及運行規則
5.1.4 離散型Hopfield神經網絡的能量函數
5.1.5 離散型Hopfield神經網絡的連接權值設計
5.1.6 離散型Hopfield神經網絡的信息存儲容量
5.2 連續型Hopfield神經網絡
5.2.1 連續型Hopfield神經網絡結構
5.2.2 連續型Hopfield神經網絡處理單元模型
5.2.3 連續型Hopfield神經網絡的狀態
5.2.4 連續型Hopfield神經網絡的能量函數
5.3 Hopfield神經網絡應用實例
5.3.1 離散型Hopfield神經網絡應用實例
5.3.2 連續型Hopfield神經網絡應用實例
5.4 本章小結
5.5 習題
第6章 Boltzmann機
6.1 隨機型神經網絡的提出
6.2 Boltzmann機的網絡結構
6.3 Boltzmann機處理單元模型
6.4 Boltzmann機的能量函數
6.5 Boltzmann機的Boltzmann分布
6.6 Boltzmann機的運行規則
6.6.1 模擬退火算法
6.6.2 網絡運行規則
6.7 Boltzmann機的學習規則
6.7.1 自聯想記憶的學習規則
6.7.2 互聯想記憶的學習規則
6.8 模擬退火算法應用實例
6.9 本章小結
6.10 習題
第7章 自適應共振理論神經網絡
7.1 自組織神經網絡的提出
7.2 競爭學習
7.2.1 競爭學習的概念
7.2.2 競爭學習規則
7.3 自適應共振理論神經網絡的提出及特點
7.4 ARTI神經網絡
7.4.1 ARTI神經網絡的結構
7.4.2 ARTI神經網絡處理單元模型
7.4.3 ARTI神經網絡的學習規則
7.4.4 ARTI神經網絡特性分析
7.4.5 ARTI神經網絡應用實例
7.5 ART2神經網絡
7.5.1 ART2神經網絡的結構
7.5.2 ART2神經網絡處理單元模型
7.5.3 ART2神經網絡的學習規則
7.5.4 ART2神經網絡應用實例
7.6 本章小結
7.7 習題
第8章 人工神經網絡應用的設計開發
8.1 人工神經網絡應用的特點及適用范圍
8.2 人工神經網絡的設計開發過程
8.3 人工神經網絡模型的選取
8.4 人工神經網絡模型的設計
8.4.1 節點級設計
8.4.2 網絡級設計
8.4.3 訓練級設計
8.5 人工神經網絡模型的實現
8.5.1 準備樣本數據
8.5.2 選取訓練樣本
8.5.3 網絡訓練與測試
8.6 本章小結
8.7 習題
第9章 人工神經網絡的實現
9.1 神經網絡實現技術概述
9.1.1 神經網絡實現的發展歷史
9.1.2 神經網絡實現方案的分類
9.2 神經網絡的虛擬實現
9.2.1 基于傳統計算機的軟件模擬
9.2.2 神經網絡并行多機系統
9.2.3 神經計算加速器
9.3 神經網絡的物理實現
9.3.1 神經網絡的VLSI實現
9.3.2 神經網絡的光學實現
9.3.3 神經網絡的分子實現
9.4 本章小結
9.5 習題
第10章 人工神經網絡的發展
10.1 神經網絡與專家系統
10.1.1 基于規則的專家系統
10.1.2 神經網絡與專家系統的比較
10.1.3 神經網絡專家系統
10.2 神經網絡與模糊系統
10.2.1 模糊系統
10.2.2 神經網絡與模糊系統的比較
10.2.3 模糊神經網絡
10.3 本章小結
附錄
附錄A 人工神經網絡的主要研究工作
附錄B BP神經網絡實現太陽黑子數量預測源程序
附錄C Hopfield神經網絡實現圖像自聯想記憶源程序
附錄D 模擬退火算法實現TSP源程序
附錄E ART1神經網絡源程序
參考文獻
顯然,目前所建立的信息處理系統實際上就是模仿生物神經網絡,所以稱為人工神經網絡。但同時也必須注意:盡管人工神經網絡是對大腦結構的模仿,但這種模仿目前還處于較低的水平,它只是對生物神經網絡的簡化、抽象和模擬。
目前,關于人工神經網絡還尚未有一個嚴格的、統一的定義,不同的科學家從各個不同側面指出了人工神經網絡的特點。例如,美國神經網絡學家Hecht Nielsen關于人工神經網絡的定義是:“人工神經網絡是由多個非常簡單的處理單元彼此按照某種方式相互連接形成的計算機系統,該系統是靠其狀態對外部輸入信息的動態響應來處理信息的!泵绹鴩啦扛呒壯芯坑媱澗株P于人工神經網絡的定義是:“人工神經網絡是一個由許多簡單的并行工作的處理單元組成的系統,其功能取決于網絡的結構、連接強度以及各個單元的處理方式。”
從以上解釋中可以看出,人工神經網絡已經完全不同于一般的計算機。在一般計算機中,通常有一個中央處理器,它可以訪問其存儲器。中央處理器可以取一條指令和該指令所需要的數據,并執行該指令,最后將計算結果存入指定的存儲單元中,其中的任何動作都按照確定的操作程序,并按照串行方式進行。而人工神經網絡中的操作卻不是串行的,也不是預先確定的,因為它根本沒有確定的存儲器,而是由許多互相連接的簡單處理單元組成的,其中每個處理單元的功能只是計算其所有輸入信號的加權和,當該和值超過一定的閾值時,輸出呈現興奮狀態(高電平);和值低于一定的閾值時,輸出呈現抑制狀態(低電平)。人工神經網絡并不執行任何指令序列,它對并行加載的輸入信號按照并行方式進行處理和響應,結果也并不保存在特定的存儲單元中,但當人工神經網絡達到某種平衡狀態后,這個平衡狀態就是所要的結果。
人工神經網絡的操作通常分為兩類:一類是訓練學習操作;另一類是正常操作或回憶操作。執行訓練學習操作時,將要教給神經網絡的信息(外部輸入)作為神經網絡的輸入和要求的輸出,使網絡按照某種規則(稱為訓練算法)調節各個處理單元之間的連接權值,直到在輸入端輸入給定信息,神經網絡能產生給定輸出為止。這時,各個連接權值已經調節好,網絡訓練完成。而正常操作過程,是針對已經訓練好的神經網絡進行的,在為訓練好的神經網絡輸入一個信號時,就可以回憶出相應的輸出結果。