本書介紹了元學(xué)習(xí)方法的發(fā)展歷史、起源、思想、近來(lái)流行的元學(xué)習(xí)方法，以及這些方法的組織思路、改進(jìn)方案、相互繼承、如何應(yīng)用。本書共11章，分為兩部分：元學(xué)習(xí)方法思想的介紹和元學(xué)習(xí)應(yīng)用場(chǎng)景中模型的介紹。這些內(nèi)容介紹了如何在元學(xué)習(xí)框架下融入強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)、在線學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)等，實(shí)現(xiàn)對(duì)實(shí)際應(yīng)用中深度模型的改進(jìn)，以適應(yīng)復(fù)雜多變的實(shí)際任務(wù)。
彭慧民，2012年畢業(yè)于清華大學(xué)水利水電工程系，獲工程學(xué)學(xué)士、經(jīng)濟(jì)學(xué)學(xué)士雙學(xué)位；2017年畢業(yè)于美國(guó)北卡羅萊納州立大學(xué)統(tǒng)計(jì)系，獲統(tǒng)計(jì)學(xué)博士學(xué)位，研究方向是高維數(shù)據(jù)和因果推斷；2019年完成在清華大學(xué)金融系的博士后工作，研究方向是公募基金業(yè)績(jī)?cè)u(píng)價(jià)。之后在浪潮（北京）電子信息產(chǎn)業(yè)有限公司做國(guó)家重點(diǎn)實(shí)驗(yàn)室研究員，從事機(jī)器學(xué)習(xí)的研究工作。
前言 1
目錄 3
1 元學(xué)習(xí)介紹 8
1.1 研究背景 13
1.1.1 元學(xué)習(xí)與深度學(xué)習(xí)的區(qū)別和聯(lián)系 15
1.1.2 元學(xué)習(xí)應(yīng)用舉例 19
1.2 元學(xué)習(xí)起源 21
1.2.1 1987年的Jürgen Schmidhuber 21
1.2.2 1990年的Stuart Russell和Eric H. Wefald 24
1.3 近期發(fā)展 25
1.3.1 1997年長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM 26
1.3.2 2001年LSTM元學(xué)習(xí)系統(tǒng) 27
1.3.3 2017年MAML算法 28
1.3.4 2019年基于LSTM的元學(xué)習(xí)器 28
1.3.5 2019年基于高效基礎(chǔ)學(xué)習(xí)器的元學(xué)習(xí) 29
1.4 參考文獻(xiàn)和擴(kuò)展閱讀 30
2 元學(xué)習(xí)框架 32
2.1 元學(xué)習(xí)研究常用數(shù)據(jù)集 33
2.2 定義任務(wù) 36
2.2.1 元學(xué)習(xí)任務(wù)的定義 37
2.2.2 元強(qiáng)化學(xué)習(xí)任務(wù)的定義 38
2.2.3 任務(wù)分解 39
2.3 元學(xué)習(xí)訓(xùn)練框架 40
2.4 元學(xué)習(xí)方法分類 42
2.4.1 神經(jīng)網(wǎng)絡(luò)適應(yīng)法 42
2.4.2 度量學(xué)習(xí)適應(yīng)法 43
2.4.3 基礎(chǔ)學(xué)習(xí)器和元學(xué)習(xí)器適應(yīng)法 44
2.4.4 貝葉斯元學(xué)習(xí)適應(yīng)法 44
2.4.5 元學(xué)習(xí)與其他學(xué)習(xí)框架結(jié)合 45
2.5 元學(xué)習(xí)方法比較 46
2.6 參考文獻(xiàn)和擴(kuò)展閱讀 48
3 元學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)方法 49
3.1 神經(jīng)網(wǎng)絡(luò) 51
3.1.1 神經(jīng)元 51
3.1.2 權(quán)重、偏差和激活函數(shù) 52
3.1.3 網(wǎng)絡(luò)反向傳播算法 54
3.1.4 學(xué)習(xí)率、批尺寸、動(dòng)量和權(quán)值衰減 56
3.1.5 神經(jīng)網(wǎng)絡(luò)模型的正則化 58
3.1.6 批歸一化 59
3.1.7 隨機(jī)失活 61
3.2 卷積神經(jīng)網(wǎng)絡(luò) 62
3.2.1 卷積層和濾波器 62
3.2.2 池化層和下采樣層 64
3.2.3 全連接層和上采樣層 66
3.2.4 經(jīng)典卷積神經(jīng)網(wǎng)絡(luò) 67
3.3 殘差網(wǎng)絡(luò) 69
3.3.1 殘差網(wǎng)絡(luò)模塊 69
3.3.2 高速路神經(jīng)網(wǎng)絡(luò) 70
3.3.3 寬殘差網(wǎng)絡(luò) 70
3.4 元學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型 71
3.4.1 學(xué)會(huì)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)器 72
3.4.2 預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的適應(yīng) 73
3.4.3 具有適應(yīng)性的神經(jīng)元設(shè)計(jì) 75
3.5 自動(dòng)化機(jī)器學(xué)習(xí) 80
3.5.1 超參數(shù)優(yōu)化 80
3.5.2 元學(xué)習(xí)和自動(dòng)化機(jī)器學(xué)習(xí) 81
3.5.3 加速自動(dòng)化機(jī)器學(xué)習(xí) 84
3.5.4 決策式自動(dòng)化機(jī)器學(xué)習(xí) 88
3.5.5 漸進(jìn)式自動(dòng)化機(jī)器學(xué)習(xí) 90
3.6 總結(jié) 95
3.7 參考文獻(xiàn)和擴(kuò)展閱讀 95
4 基于度量的元學(xué)習(xí)方法 98
4.1 基于度量的學(xué)習(xí) 99
4.1.1 度量的定義 100
4.1.2 度量學(xué)習(xí)的應(yīng)用 102
4.1.3 有監(jiān)督度量學(xué)習(xí) 103
4.1.4 半監(jiān)督度量學(xué)習(xí) 106
4.1.5 無(wú)監(jiān)督度量學(xué)習(xí) 108
4.2 注意力模型 108
4.3 記憶模塊 109
4.4 SNAIL算法 113
4.5 Relation Network算法 115
4.6 Prototypical Network算法 118
4.7 TADAM算法 120
4.8 Dynamic Few-Shot算法 123
4.9 mAP算法 128
4.10 總結(jié) 132
4.11 參考文獻(xiàn)和擴(kuò)展閱讀 133
5 基礎(chǔ)學(xué)習(xí)器和元學(xué)習(xí)器結(jié)合的元學(xué)習(xí) 134
5.1 基礎(chǔ)學(xué)習(xí)器 137
5.2 元學(xué)習(xí)器 138
5.3 MAML算法 139
5.4 Reptile算法 145
5.5 Recurrent Neural Network 149
5.5.1 RNN基礎(chǔ)結(jié)構(gòu) 149
5.5.2 Bidirectional RNN 152
5.5.3 Long Short-Term Memory 153
5.5.4 Gated Recurrent Unit 156
5.6 RNN元學(xué)習(xí)算法 158
5.7 Meta-LSTM算法 160
5.8 R2D2算法 164
5.9 LR2D2算法 167
5.10 MetaOptNet算法 170
5.11 Transductive Propagation Network算法 173
5.12 Latent Embedding Optimization算法 178
5.13 參考文獻(xiàn)和擴(kuò)展閱讀 182
6 貝葉斯思想下的元學(xué)習(xí)方法 184
6.1 Bayesian Program Learning算法 186
6.2 Neural Statistician算法 189
6.3 LLAMA算法 192
6.4 BMAML算法 197
6.5 PLATIPUS算法 202
6.6 VERSA算法 204
6.7 參考文獻(xiàn)和擴(kuò)展閱讀 207
7 元學(xué)習(xí)的應(yīng)用場(chǎng)景 208
7.1 元遷移學(xué)習(xí) 211
7.2 元強(qiáng)化學(xué)習(xí) 212
7.3 元模仿學(xué)習(xí) 213
7.4 在線元學(xué)習(xí) 213
7.5 無(wú)監(jiān)督元學(xué)習(xí) 214
7.6 參考文獻(xiàn)和擴(kuò)展閱讀 215
8 元強(qiáng)化學(xué)習(xí) 216
8.1 強(qiáng)化學(xué)習(xí) 216
8.2 基于MAML的元強(qiáng)化學(xué)習(xí) 218
8.3 GrBAL算法 219
8.4 參考文獻(xiàn)和擴(kuò)展閱讀 222
9 元模仿學(xué)習(xí) 223
9.1 模仿學(xué)習(xí) 223
9.2 MAML算法用于元模仿學(xué)習(xí) 225
9.3 MetaMimic算法 226
9.4 參考文獻(xiàn)和擴(kuò)展閱讀 229
10 在線元學(xué)習(xí) 229
10.1 在線學(xué)習(xí) 229
10.2 FTML算法 231
10.3 參考文獻(xiàn)和擴(kuò)展閱讀 233
11 無(wú)監(jiān)督元學(xué)習(xí) 233
11.1 無(wú)監(jiān)督學(xué)習(xí) 233
11.2 CACTUs算法 235
11.3 參考文獻(xiàn)和擴(kuò)展閱讀 236
新書資訊