內容簡介本書是一本關于最優化技術的入門教材,全書共分為四部分。第一部分是預備知識。第二部分主要介紹無約束的優化問題,并介紹線性方程的求解方法、神經網絡方法和全局搜索方法。第三部分介紹線性優化問題,包括線性優化問題的模型、單純形法、對偶理論以及一些非單純形法,簡單介紹了整數線性優化問題。第四部分介紹有約束非線性優化問題,包括純等式約束下和不等式約束下的優化問題的最優性條件、凸優化問題、有約束非線性優化問題的求解算法和多目標優化問題。中文版已根據作者提供的勘誤表進行了內容更正。
內容編排合理,符合知識學習的基本邏輯;知識層次設計合理,大多數數學推導都伴以幾何演示,便于學生理解和掌握;例題豐富;內容涵蓋全面。
Edwin K. P. Chong,博士,科羅拉多州立大學數學教授、電子和計算機工程教授,IEEE會士,IEEE Transactions on Automatic Control的高級主編。
Stanislaw H. Zak,博士,普渡大學電子和計算機工程學院教授,曾任Dynamics and Control和IEEE Transactions on Neural Networks的副主編。
第一部分數學知識回顧
第1章證明方法與相關記法
1.1證明方法
1.2記法
習題第2章向量空間與矩陣
2.1向量與矩陣
2.2矩陣的秩
2.3線性方程組
2.4內積和范數
習題第3章變換
3.1線性變換
3.2特征值與特征向量
3.3正交投影
3.4二次型函數
3.5矩陣范數
習題第4章有關幾何概念
4.1線段
4.2超平面與線性簇
4.3凸集
4.4鄰域
4.5多面體和多胞形
習題第5章微積分基礎
5.1序列與極限
5.2可微性
5.3導數矩陣
5.4微分法則
5.5水平集與梯度
5.6泰勒級數
習題
第二部分無約束優化問題
第6章集合約束和無約束優化問題的基礎知識
6.1引言
6.2局部極小點的條件
習題第7章一維搜索方法
7.1引言
7.2黃金分割法
7.3斐波那契數列法
7.4二分法
7.5牛頓法
7.6割線法
7.7劃界法
7.8多維優化問題中的一維搜索
習題第8章梯度方法
8.1引言
8.2最速下降法
8.3梯度方法性質分析
習題第9章牛頓法
9.1引言
9.2牛頓法性質分析
9.3LevenbergMarquardt修正
9.4牛頓法在非線性最小二乘問題中的應用
習題第10章共軛方向法
10.1引言
10.2基本的共軛方向算法
10.3共軛梯度法
10.4非二次型問題中的共軛梯度法
習題第11章擬牛頓法
11.1引言
11.2黑塞矩陣逆矩陣的近似
11.3秩1修正公式
11.4DFP算法
11.5BFGS算法
習題第12章求解線性方程組
12.1最小二乘分析
12.2遞推最小二乘算法
12.3線性方程組的最小范數解
12.4Kaczmarz算法
12.5一般意義下的線性方程組的求解
習題第13章無約束優化問題和神經網絡
13.1引言
13.2單個神經元訓練
13.3反向傳播算法
習題第14章全局搜索算法
14.1引言
14.2NelderMead單純形法
14.3模擬退火法
14.4粒子群優化算法
14.5遺傳算法
習題
第三部分線 性 規 劃
第15章線性規劃概述
15.1線性規劃簡史
15.2線性規劃的簡單例子
15.3二維線性規劃
15.4凸多面體和線性規劃
15.5線性規劃問題的標準型
15.6基本解
15.7基本解的性質
15.8幾何視角下的線性規劃
習題第16章單純形法
16.1利用行變換求解線性方程組
16.2增廣矩陣的規范型
16.3更新增廣矩陣
16.4單純形法
16.5單純形法的矩陣形式
16.6兩階段單純形法
16.7修正單純形法
習題第17章對偶
17.1對偶線性規劃
17.2對偶問題的性質
習題第18章非單純形法
18.1引言
18.2Khachiyan算法
18.3仿射尺度法
18.4Karmarkar算法
習題第19章整數規劃
19.1概述
19.2幺模矩陣
19.3Gomory割平面法
習題
第四部分有約束的非線性優化問題
第20章僅含等式約束的優化問題
20.1引言
20.2問題描述
20.3切線空間和法線空間
20.4拉格朗日條件
20.5二階條件
20.6線性約束下二次型函數的極小化
習題第21章含不等式約束的優化問題
21.1卡羅需庫恩塔克(KarushKuhnTucker)條件
21.2二階條件
習題第22章凸優化問題
22.1引言
22.2凸函數
22.3凸優化問題
22.4半定規劃
習題第23章有約束優化問題的求解算法
23.1引言
23.2投影法
23.3求解含線性約束優化問題的投影梯度法
23.4拉格朗日法
23.5罰函數法
習題第24章多目標優化
24.1引言
24.2帕累托解
24.3帕累托前沿的求解
24.4多目標優化到單目標優化的轉換
24.5存在不確定性的線性規劃
習題參考文獻