国产91青青成人a在线/在线视频成人/aaa成人永久在线观看视频/深夜草莓视频app

本書涵蓋了Transformer在NLP領(lǐng)域的主要應(yīng)用。首先介紹Transformer模型和Hugging Face 生態(tài)系統(tǒng)。然后重點(diǎn)介紹情感分析任務(wù)以及Trainer API、Transformer的架構(gòu)，并講述了在多語言中識(shí)別文本內(nèi)實(shí)體的任務(wù)，以及Transformer模型生成文本的能力，還介紹了解碼策略和度量指標(biāo)。接著深入挖掘了文本摘要這個(gè)復(fù)雜的序列到序列的任務(wù)，并介紹了用于此任務(wù)的度量指標(biāo)。之后聚焦于構(gòu)建基于評(píng)論的問答系統(tǒng)，介紹如何基于Haystack進(jìn)行信息檢索，探討在缺乏大量標(biāo)注數(shù)據(jù)的情況下提高模型性能的方法。最后展示如何從頭開始構(gòu)建和訓(xùn)練用于自動(dòng)填充Python源代碼的模型，并總結(jié)Transformer面臨的挑戰(zhàn)以及將這個(gè)模型應(yīng)用于其他領(lǐng)域的一些新研究。

自Transformer在2017年發(fā)布以來，自然語言處理領(lǐng)域就邁入了 一個(gè)全新的時(shí)代。以Transformer為基礎(chǔ)的模型，不斷推動(dòng)著自 然語言處理技術(shù)的進(jìn)步與革新。如今隨著ChatGPT的發(fā)布與流行，Transformer也被越來越多的人所了解和使用。
本書以Hugging Face Transformers庫為基礎(chǔ)，旨在向讀者介紹Transformer模型的基礎(chǔ)知識(shí)和快速入門方式，幫助讀者完成訓(xùn)練和擴(kuò)展。三位作者都是Hugging Face Transformers的創(chuàng)建者，深諳Transformer的原理與架構(gòu)，將通過實(shí)際案例手把手地幫助讀者構(gòu)建各種自然語言處理任務(wù)，并不斷挖掘Transformer的無限潛力，從而實(shí)現(xiàn)更廣泛的應(yīng)用和創(chuàng)新。
通過本書，你將：
? 以NLP領(lǐng)域最具代表性的任務(wù)（文本分類、命名實(shí)體識(shí)別和問答系統(tǒng)）為例，學(xué)習(xí)構(gòu)建、調(diào)試和優(yōu)化Transformer模型。
? 了解Transformer如何應(yīng)用于跨語言遷移學(xué)習(xí)。
? 學(xué)習(xí)如何在標(biāo)注數(shù)據(jù)稀缺的場(chǎng)景中應(yīng)用Transformer。
? 使用蒸餾、剪枝和量化等技術(shù)優(yōu)化Transformer。
? 學(xué)習(xí)如何對(duì)Transformer做分布式并行訓(xùn)練。

Lewis Tunstall是Hugging Face機(jī)器學(xué)習(xí)工程師，致力于為NLP社區(qū)開發(fā)實(shí)用工具，并幫助人們更好地使用這些工具。
Leandro von Werra是Hugging Face機(jī)器學(xué)習(xí)工程師，致力于代碼生成模型的研究與社區(qū)推廣工作。
Thomas Wolf是Hugging Face首席科學(xué)官兼聯(lián)合創(chuàng)始人，他的團(tuán)隊(duì)肩負(fù)著促進(jìn)AI研究和普及的使命。

目錄
序1
前言3
第1章 歡迎來到Transformer的世界11
1.1 編碼器-解碼器框架12
1.2 注意力機(jī)制14
1.3 NLP的遷移學(xué)習(xí)15
1.4 Hugging FaceTransformers庫：提供規(guī)范化接口18
1.5 Transformer應(yīng)用概覽19
1.6 Hugging Face生態(tài)系統(tǒng)23
1.7 Transformer的主要挑戰(zhàn)27
1.8 本章小結(jié)27
第2章 文本分類29
2.1 數(shù)據(jù)集30
2.2 將文本轉(zhuǎn)換成詞元36
2.3 訓(xùn)練文本分類器44
2.4 本章小結(jié)60
第3章 Transformer架構(gòu)剖析62
3.1 Transformer架構(gòu)62
3.2 編碼器64
3.3 解碼器79
3.4 認(rèn)識(shí)Transformer81
3.5本章小結(jié)87
第4章 多語言命名實(shí)體識(shí)別88
4.1 數(shù)據(jù)集89
4.2 多語言Transformer93
4.3 多語言詞元化技術(shù)94
4.4 命名實(shí)體識(shí)別中的Transformers96
4.5 自定義Hugging Face Transformers庫模型類98
4.6 NER的詞元化103
4.7 性能度量105
4.8 微調(diào)XLM-RoBERTa106
4.9 錯(cuò)誤分析108
4.10 跨語言遷移114
4.11 用模型小部件進(jìn)行交互120
4.12 本章小結(jié)121
第5章 文本生成122
5.1 生成連貫文本的挑戰(zhàn)123
5.2 貪婪搜索解碼125
5.3 束搜索解碼129
5.4 采樣方法132
5.5 top-k和核采樣134
5.6 哪種解碼方法最好136
5.7 本章小結(jié)137
第6章 文本摘要138
6.1 CNN/DailyMail數(shù)據(jù)集138
6.2 文本摘要pipeline139
6.3 比較不同的摘要143
6.4 度量生成文本的質(zhì)量144
6.5 在CNN/DailyMail數(shù)據(jù)集上評(píng)估PEGASUS150
6.6 訓(xùn)練摘要模型152
6.7 本章小結(jié)158
第7章 構(gòu)建問答系統(tǒng)160
7.1 構(gòu)建基于評(píng)論的問答系統(tǒng)161
7.2 評(píng)估并改進(jìn)問答pipeline183
7.3 生成式問答196
7.4 本章小結(jié)199
第8章 Transformer模型調(diào)優(yōu)201
8.1 以意圖識(shí)別為例201
8.2 創(chuàng)建性能基準(zhǔn)203
8.3 通過知識(shí)蒸餾減小模型大小208
8.4 利用量化技術(shù)使模型運(yùn)算更快220
8.5 基準(zhǔn)測(cè)試量化模型225
8.6 使用ONNX和ONNX Runtime進(jìn)行推理優(yōu)化226
8.7 使用權(quán)重剪枝使模型更稀疏231
8.8 本章小結(jié)235
第9章 零樣本學(xué)習(xí)和少樣本學(xué)習(xí)236
9.1 構(gòu)建GitHub issue標(biāo)記任務(wù)238
9.2 基線模型樸素貝葉斯245
9.3 零樣本學(xué)習(xí)248
9.4 少樣本學(xué)習(xí)256
9.5 利用無標(biāo)注數(shù)據(jù)272
9.6 本章小結(jié)278
第10章 從零訓(xùn)練Transformer模型280
10.1 如何尋找大型數(shù)據(jù)集281
10.2 構(gòu)建詞元分析器290
10.3 從零訓(xùn)練一個(gè)模型301
10.4 結(jié)果與分析315
10.5 本章小結(jié)319
第11章 未來發(fā)展趨勢(shì)321
11.1 Transformer的擴(kuò)展321
11.2 其他應(yīng)用領(lǐng)域329
11.3 多模態(tài)的Transformer334
11.4 繼續(xù)前行的建議342