国产91青青成人a在线/在线视频成人/aaa成人永久在线观看视频/深夜草莓视频app

本書用10章對大語言模型進行全面且深入的介紹。

首先對大語言模型的基本概念進行介紹。其次，從大語言模型的基礎技術、預訓練數據構建、預訓練技術等方面展開討論，幫助讀者深入了解大語言模型的構建和訓練過程。然后，詳細介紹有監督微調和強化對齊等技術，以及如何評估大語言模型的性能。此外，介紹提示工程和工程實踐等方面的內容，幫助讀者了解大語言模型的應用和實際操作過程。最后，介紹如何從零開始微調大語言模型，輔以代碼示例，幫助讀者更好地應用這些技術。

通過閱讀本書，讀者可以獲得全面且深入的大語言模型的知識框架。

作者知名：軒轅大模型負責人：真正的大語言模型實踐者，擁有十億、百億、千億等不同參數規模大語言模型的訓練經驗

系統性強：從數據處理的基礎工作（如數據清洗與去重）講起，逐步深入，探討預訓練、微調技術和強化對齊技術等核心技術環節。同時，書中對大語言模型評估策略及其應用技術架構，包括推理引導技術和動態交互技術，進行了全面且深入的探討，確保讀者能夠從理論和技術角度全面理解大語言模型。

實踐性強：精心設計了從零開始的教學章節，提供大語言模型微調的詳細指導，逐步引領讀者掌握關鍵技能。

本書不僅有助于初學者迅速上手，也為有經驗的開發者提供了深入學習的機會

全彩印刷

緣起：為什么要寫這本書

OpenAI的ChatGPT自推出以來，迅速成為人工智能領域的焦點。ChatGPT在語言理解、生成、規劃及記憶等多個維度展示了強大的能力。這不僅體現在對特定任務的高效處理上，更重要的是，它在處理多樣化任務和復雜場景中的靈活性顯著，甚至能在一定程度上模擬人類的思考方式。這種能力的展現，標志著人工智能從專注于單一任務的傳統模型向通用人工智能轉變，其強大的能力將對千行百業產生深遠影響，尤其在優化業務流程和重塑組織結構方面。

然而，在研究和實踐過程中，我們遇到了一個主要挑戰：市場上缺乏大語言模型在實際應用方面的資料。現有的資料多聚焦于理論研究，而具體的實踐方法多被保密，難以獲得實際操作的指導。為了填補這一空白，我們歷經一年的實踐和探索，決定分享我們的經驗和成果，旨在為大語言模型的初學者和實踐者提供快速入門和應用的途徑。

為應對技術的快速演進和信息的日新月異，我們建立了一個GitHub社區，用于持續更新我們的技術成果和見解。我們期望通過這種方式，促進讀者對大語言模型的深入理解和廣泛應用，推動整個領域的持續發展和創新。

本書特色

本書旨在揭開大語言模型的神秘面紗，透徹地解讀其內在機理和應用實踐。書中不僅介紹理論知識，更介紹了深入這一技術領域的具體訓練過程，目的是為讀者提供一個全面、深入且系統化的視角，以揭示大語言模型的精妙之處。

本書的一大特色體現在其知識體系的系統性。我們從數據處理的基礎工作（如數據清洗與去重）講起，逐步深入，探討預訓練、微調技術和強化對齊技術等核心技術環節。同時，書中對大語言模型評估策略及其應用技術架構，包括推理引導技術和動態交互技術，進行了全面且深入的探討，確保讀者能夠從理論和技術角度全面理解大語言模型。

本書的另一大特色是對實踐性的重視。我們精心設計了從零開始的教學章節，提供大語言模型微調的詳細指導，逐步引領讀者掌握關鍵技能。這不僅有助于初學者迅速上手，也為有經驗的開發者提供了深入學習的機會。

作為真正的大語言模型實踐者，我們擁有十億、百億、千億等不同參數規模大語言模型的訓練經驗。在本書中，這些經驗都被毫無保留地融入其中，確保本書內容的實用性和深度。

本書是理論與實踐經驗的精華，干貨滿滿，絕非空談。

本書結構

本書共10章，下面是各章的主要內容概述。

第1章：解鎖大語言模型

本章勾勒大語言模型的全貌，并介紹大語言模型的基礎概念。

第2章：大語言模型基礎技術

本章旨在深度解析構成大語言模型的基礎知識和核心技術。先回顧自然語言的基礎表示方法，為理解復雜模型奠定基礎；再詳盡地探討自然語言處理中的預訓練架構Transformer，以揭示其內在工作機制；接著介紹如BERT和GPT這樣的標桿性預訓練模型；最后以InstructGPT和LLaMA系列為例，為讀者呈現大語言模型的初步實用成果。

第3章：預訓練數據構建

本章將深入探討預訓練數據的常見類別、來源和預處理方式，以及構建訓練數據的重點和難點。

第4章：大語言模型預訓練

本章將深入探討大語言模型預訓練的各個方面。首先解析不同的大語言模型架構和不同模塊的選擇；同時對大語言模型的訓練過程進行介紹，包括數據選擇和配比策略、模型訓練等。

第5章：挖掘大語言模型潛能：有監督微調

本章將從定義、用途和應用場景3個方面解釋有監督微調；同時講解如何構建有針對性的微調數據，以及大語言模型微調的各種技巧。

第6章：大語言模型強化對齊

本章先介紹強化學習的基礎知識、兩類主流深度強化學習算法，重點介紹大語言模型中基于人類反饋的強化學習（RLHF）技術，然后介紹強化學習常用的訓練框架和平臺，以及RLHF實踐過程中的常見問題；最后介紹RLHF中的難點及目前存在的問題，對RLHF將來可能的技術發展做進一步展望。

第7章：大語言模型的評測

本章首先介紹大語言模型的評測，如基座模型的評測方式等。然后重點講解微調之后具有對話能力的模型的評測方式，包括SFT階段全維度的對話能力評測和 RLHF 階段模型以安全性為主的能力評測。最后探討如何評價一個通用人工智能。

第8章：大語言模型的應用

本章將展示提示詞技術對大語言模型的引導能力。首先從最簡單的零樣本提示開始介紹，這些技術使大語言模型擁有逐步推理的能力。然后介紹搜索增強生成技術、推理和行動協同技術，利用這兩個技術，大語言模型可以獲得在與環境的交互中逐步分解并解決問題的能力。

第9章：工程實踐

本章將深入探討大語言模型從訓練到完成任務的各個環節所涉及的工程優化技術和相關實踐案例。這些技術和實踐旨在提高模型的效率、性能和可擴展性，從而滿足實際應用中的需求。

第10章：手把手教你訓練7B大語言模型

本章將介紹微調大語言模型的關鍵步驟和代碼示例，以便更直接地應用這些技術。

通過閱讀本書，讀者可以獲得全面且深入的大型語言模型的知識框架。無論您是研究人員、工程師，還是產品經理，都能從中獲得有價值的知識。大語言模型已經在各個領域展現出了巨大的潛力，本書將幫您更好地掌握和應用這一技術。

說明

本書包含與大語言模型的對話示例。為了真實地展示大語言模型的對話能力，對話內容中難免會出現用詞不規范、語句不通順甚至錯誤的情況。在此，懇請各位讀者包涵。

致謝

在本書的創作旅程中，感激所有給予我們支持的人。感謝我的團隊成員，他們對技術的信仰和對卓越的追求為本書注入了靈魂；感謝行業內的所有貢獻者，他們的研究和實踐成果為我們提供了寶貴的參考和靈感；感謝電子工業出版社鄭柳潔編輯和整個出版團隊，他們的專業技能和對細節的關注，確保了這本書能夠完美地呈現給廣大讀者。感謝所有直接或間接參與本書創作的人，是你們讓這一切成為可能。

楊青

度小滿金融技術委員會執行主席、數據智能應用部總經理，度小滿AI Lab負責人，碩士畢業于清華大學計算機系，曾就職于百度、阿里巴巴，從事自然語言處理、搜索、推薦、大數據架構等相關方向的研發工作。

2018年年初加入度小滿金融，組建數據智能部和AI Lab團隊，從0到1構建度小滿金融的智能引擎核心算法，深耕計算機視覺、自然語言處理、圖模型、機器學習、因果推斷等技術領域，多篇文章被EMNLP、ACL、CIKM等國際會議收錄，智能化征信解讀中臺工程榮獲吳文俊人工智能科技進步獎。相關技術廣泛應用于度小滿營銷、經營、風控、反欺詐全流程業務場景，為上千萬客戶提供穩定、安全的金融服務。

目前，專注于AIGC相關研究及產品落地工作，基于度小滿模型即服務（MaaS）的模式積極探索文生圖、數字人與生成式大語言模型的應用轉化。于2023年年初帶領團隊發布千億參數規模的中文大語言模型軒轅。2023年9月， 軒轅-70B大語言模型在C-Eval和CMMLU兩大權威榜單上位列所有開源模型榜首。

目 錄
1 解鎖大語言模型1
1.1 什么是大語言模型·1
1.2 語言模型的發展·2
1.3 GPT 系列模型的發展·3
1.4 大語言模型的關鍵技術·4
1.5 大語言模型的涌現能力·5
1.6 大語言模型的推理能力·5
1.7 大語言模型的縮放定律·6
參考文獻·7
2 大語言模型基礎技術·8
2.1 語言表示介紹·8
2.1.1 詞表示技術·8
2.1.2 分詞技術·9
2.2 經典結構 Transformer·14
2.2.1 輸入模塊·15
2.2.2 多頭自注意力模塊·16
2.2.3 殘差連接與層歸一化·19
2.2.4 前饋神經網絡·19
2.2.5 解碼器·19
2.3 預訓練語言模型·21
2.3.1 Decoder 的代表：GPT 系列·21
2.3.2 Encoder 的代表：BERT·23
2.4 初探大語言模型·24
2.4.1 InstructGPT·24
2.4.2 LLaMA 系列·28
參考文獻·30
3 預訓練數據構建·32
3.1 數據的常見類別及其來源·32
3.1.1 網頁數據·33
3.1.2 書籍數據·34
3.1.3 百科數據·34
3.1.4 代碼數據·34
3.1.5 其他數據·36
3.2 數據的預處理方式·36
3.2.1 正文提取·37
3.2.2 質量過濾·37
3.2.3 文檔去重·38
3.2.4 數據集凈化·39
3.3 常用數據集的完整構建方式 ·40
3.3.1 C4·40
3.3.2 MassiveText·40
3.3.3 RefinedWeb·41
3.3.4 ROOTS·42
3.4 難點和挑戰·43
3.4.1 數據收集的局限性·43
3.4.2 數據質量評估的挑戰·43
3.4.3 自動生成數據的風險·44
參考文獻·44
4 大語言模型預訓練·46
4.1 大語言模型為什么這么強·46
4.2 大語言模型的核心模塊·49
4.2.1 核心架構·49
4.2.2 組成模塊選型·51
4.3 大語言模型怎么訓練·60
4.3.1 訓練目標·60
4.3.2 數據配比·62
4.4 預訓練還有什么沒有解決·65
參考文獻·66
5 挖掘大語言模型潛能：有監督微調·67
5.1 揭開有監督微調的面紗·67
5.1.1 什么是有監督微調·67
5.1.2 有監督微調的作用與意義·68
5.1.3 有監督微調的應用場景·68
5.2 有監督微調數據的構建·69
5.2.1 有監督微調數據的格式·69
5.2.2 有監督微調數據的自動化構建·70
5.2.3 有監督微調數據的選擇·75
5.3 大語言模型的微調方法·76
5.3.1 全參數微調·76
5.3.2 適配器微調·76
5.3.3 前綴微調·77
5.3.4 提示微調·78
5.3.5 低秩適配·79
5.4 大語言模型的微調和推理策略·79
5.4.1 混合微調策略·80
5.4.2 基于上下文學習的推理策略·81
5.4.3 基于思維鏈的推理策略·82
5.5 大語言模型微調的挑戰和探索·83
5.5.1 大語言模型微調的幻覺問題·83
5.5.2 大語言模型微調面臨的挑戰·84
5.5.3 大語言模型微調的探索與展望 ·84
參考文獻·85
6 大語言模型強化對齊·87
6.1 強化學習基礎 ·87
6.1.1 強化學習的基本概念·87
6.1.2 強化學習中的隨機性·88
6.1.3 強化學習的目標·89
6.1.4 Q 函數與 V 函數·89
6.2 DQN 方法·91
6.2.1 DQN 的結構·91
6.2.2 DQN 訓練：基本思想·92
6.2.3 DQN 訓練：目標網絡·94
6.2.4 DQN 訓練：探索策略·94
6.2.5 DQN 訓練：經驗回放·95
6.2.6 DQN 訓練：完整算法·95
6.2.7 DQN 決策·96
6.3 策略梯度方法·96
6.3.1 策略網絡的結構·96
6.3.2 策略網絡訓練：策略梯度·97
6.3.3 策略網絡訓練：優勢函數·99
6.3.4 PPO 算法·100
6.4 揭秘大語言模型中的強化建模·101
6.4.1 Token-level 強化建模·101
6.4.2 Sentence-level 強化建模·102
6.5 獎勵模型·103
6.5.1 獎勵模型的結構·103
6.5.2 獎勵模型的訓練·104
6.5.3 獎勵模型損失函數分析·106
6.6 RLHF·108
6.6.1 即時獎勵·108
6.6.2 RLHF 算法·109
6.7 RLHF 實戰框架·111
6.8 RLHF 的難點和問題·111
6.8.1 數據瓶頸·112
6.8.2 硬件瓶頸·113
6.8.3 方法瓶頸·114
參考文獻·115
7 大語言模型的評測·117
7.1 基座語言模型的評測·117
7.1.1 主要的評測維度和基準概述·118
7.1.2 具體案例：LLaMA 2 選取的評測基準·118
7.2 大語言模型的對話能力評測·120
7.2.1 評測任務·120
7.2.2 評測集的構建標準·131
7.2.3 評測方式·132
7.3 大語言模型的安全性評測·132
7.3.1 評測任務·133
7.3.2 評測方式和標準·134
7.4 行業大語言模型的評測：以金融行業大語言模型為例·134
7.4.1 金融行業大語言模型的自動化評測集·135
7.4.2 金融行業大語言模型的人工評測集·136
7.5 整體能力的評測·137
7.6 主流評測數據集及基準·138
參考文獻·142
8 大語言模型的應用·143
8.1 大語言模型為什么需要提示工程·143
8.1.1 人類和大語言模型進行復雜決策的對比·144
8.1.2 提示工程的作用·144
8.2 什么是提示詞·145
8.2.1 提示詞的基礎要素·146
8.2.2 提示詞設計的通用原則·146
8.3 推理引導·147
8.3.1 零樣本提示·147
8.3.2 少樣本提示·148
8.3.3 思維鏈提示·149
8.3.4 自我一致性提示·150
8.3.5 思維樹提示·151
8.4 動態交互·155
8.4.1 檢索增強生成技術·155
8.4.2 推理和行動協同技術·159
8.5 案例分析·161
8.5.1 案例介紹·161
8.5.2 工具設計·161
8.5.3 提示詞設計·165
8.5.4 案例運行·167
8.6 局限和發展·172
8.6.1 目前的局限·172
8.6.2 未來的發展·173
參考文獻·173
9 工程實踐·175
9.1 大語言模型訓練面臨的挑戰·175
9.2 大語言模型訓練綜述·176
9.2.1 數據并行·176
9.2.2 模型并行·179
9.2.3 ZeRO 并行·181
9.3 大語言模型訓練技術選型技巧·184
9.4 大語言模型訓練優化秘籍·186
9.4.1 I/O 優化·186
9.4.2 通信優化·187
9.4.3 穩定性優化·190
9.5 大語言模型訓練工程實踐·190
9.5.1 DeepSpeed 架構·191
9.5.2 DeepSpeed 訓練詳解·191
9.5.3 DeepSpeed 訓練調優實踐·194
9.6 強化學習工程實踐·196
9.6.1 DeepSpeed-Chat 混合引擎架構·196
9.6.2 DeepSpeed-Chat 訓練詳解·197
9.6.3 DeepSpeed-Chat 訓練調優實踐·199
9.7 大語言模型推理工程·201
9.7.1 提升規模：模型量·202
9.7.2 提高并行度：張量并行·205
9.7.3 推理加速：算子優化·207
9.7.4 降低計算量：KV-Cache·208
9.7.5 推理工程綜合實踐·210
參考文獻·212
10 手把手教你訓練 7B 大語言模型·214
10.1 自動化訓練框架·214
10.1.1 自動化訓練框架介紹·214
10.1.2 主要模塊介紹·215
10.2 動手訓練 7B 大語言模型·237
10.2.1 語料預處理·238
10.2.2 預訓練實踐·240
10.2.3 指令微調實踐·245
10.3 小結·247