首先，本書在內容選擇上堅持“經典”與“前沿”并重。一方面，系統全面地講述了無約束和有約束最優化問題的常用求解方法，包括負梯度方法、牛頓方法、擬牛頓方法、共軛梯度方法、罰函數方法等。另一方面，加入近幾年在數據科學領域受到廣泛關注的一些新型一階最優化方法，例如隨機梯度下降方法、小批量隨機梯度下降、動量方法、Nesterov加速梯度方法、Adam方法等。特別地，本書著重講述了在數據科學中廣泛使用的正則最優化問題，并介紹其求解方法，包括坐標下降方法、近端方法和交替方向乘子方法。
其次，本書注重理論和實踐相結合。主要的最優化方法均配有詳細例子加以解釋和闡述，并在章的最后一節進行數值實驗，通過幾個典型的最優化問題展示最優化方法的實際數值表現，有助于讀者對方法性能建立起直觀感受。
孫怡帆，中國人民大學統計學院教授，博士生導師，數理統計系系主任，全國工業統計學教學研究會常務理事，中國統計教育學會理事。主要從事高維數據分析、分布式計算理論和方法領域研究，以主要作者身份在Statistics in Medicine、Briefing in Bioinformatics、Physical Review X等國際知名學術期刊公開發表論文30余篇，參與編寫教材 《非結構化大數據分析》 。主持國家自然基金、教育部人文社科等省部級科研課題8項，曾獲北京市高等教育教學成果一等獎、北京市高校本科畢業論文優秀指導教師等多項省部級教學獎勵。
第 1 章 導 論
1.1 本書考慮的最優化問題
1.2 優化方法的特點和要求
1.3 本書主要內容
第 2 章 無約束優化方法基礎
2.1 最優性條件
2.2 方法框架
2.3 收斂準則
第 2 章習題
第 3 章 線搜索方法
3.1 精確線搜索方法
3.2 精確線搜索方法的收斂性
3.3 非精確線搜索方法
3.4 非精確線搜索方法的收斂性
第 3 章習題
第 4 章 負梯度方法
4.1 梯度下降方法
4.2 最速下降方法
4.3 梯度下降方法的變體
4.4 梯度下降方法的改進
4.5 數值實驗
第 4 章習題
第 5 章 牛頓方法
5.1 基本牛頓方法
5.2 基本牛頓方法的改進
5.3 牛頓方法在非線性最小二乘問題中的應用
5.4 數值實驗
第 5 章習題
第 6 章 擬牛頓方法
6.1 擬牛頓條件
6.2 對稱秩 1 方法
6.3 DFP 方法
6.4 BFGS 方法
6.5 Broyden 族方法
6.6 擬牛頓方法的收斂性及收斂速度
6.7 L-BFGS 方法
6.8 數值實驗
第 6 章習題
第 7 章 共軛梯度方法
7.1 共軛方向方法
7.2 針對正定二次函數的共軛梯度方法
7.3 非線性共軛梯度方法
7.4 數值實驗
第 7 章習題
第 8 章 約束最優化問題的最優性理論
8.1 約束最優化問題的一般形式和定義
8.2 約束最優化問題的一階最優性條件
8.3 約束最優化問題的二階最優性條件
8.4 約束最優化的對偶問題
第 8 章習題
第 9 章 罰函數方法
9.1 二次罰函數方法
9.2 障礙函數方法
9.3 增廣 Lagrange 函數方法
9.4 數值實驗
第 9 章習題
第 10 章 近端方法
10.1 近端算子
10.2 近端極小化方法
10.3 近端梯度方法
10.4 加速近端梯度方法
第 11 章 坐標下降方法
11.1 隨機坐標下降方法
11.2 加速隨機坐標下降方法
11.3 循環坐標下降方法
11.4 求解可分正則最優化問題的隨機坐標下降方法
第 12 章 交替方向乘子方法
12.1 方法基礎
12.2 ADMM 方法的一般形式和理論性質
12.3 一致性問題
12.4 共享問題
12.5 數值實驗
附錄 A 數學基礎
A.1 線性代數
A.2 微積分
A.3 凸分析
附錄 B 符號說明
參考文獻
新書資訊