本書分為兩篇:第一篇算法原理:詳細介紹了先進的深度學習模型,包括Transformer、GPT系列、深度生成模型,從基本架構、訓練方法到特定應用,包括但不限于Seq2Seq結構、位置編碼、注意力機制、殘差連接、變分自編碼器、GAN、ViT、CLIP、Stable Diffusion、各模型訓練實踐的知識點。此外,探討了預訓練模型的涌現能力、模型參數和通信數據量的估算,以及分布式訓練的各種技術,如數據并行、模型并行和混合精度訓練等。第二篇應用實戰:聚焦于深度學習模型的實際應用,特別是文本和圖像生成,以及代碼生成的應用實戰。通過具體實戰項目,如利用Stable Diffusion進行圖像生成和Code Llama進行代碼生成,提供了微調技術的詳細細節等。