本書先介紹了自然語言和差分隱私的理論基礎，論述當前自然語言模型所面臨的私隱攻擊類型，并在此基礎之上根據文本處理粒度和擾動位置的不同，分別介紹單詞層級的差分隱私、Token層級的差分隱私、句子層級的差分隱私、主題層級的差分隱私和基于梯度擾動的差分隱私。最后論述自然語言處理模型中相關的可解釋性技術。
陳珂銳，吉林大學計算機應用技術博士，現為河南財經政法大學計算機與信息工程學院講師。在《計算機研究與發展》等權威期刊發表論文4篇。擔任過1項國家自然科學基金重大研究計劃研究、2項國家自然基金研究。曾獲得吉林省科學技術獎三等獎，中國商業聯合會科學技術獎三等獎。
1.導論
1.1 小規模專家知識階段
1.2 大規模語料庫統計模型階段
1.3 大規模語料庫深度學習階段
1.4 大規模預訓練語言模型階段
2.自然語言處理基礎
2.1 文本表示
2.2 自然語言處理任務
2.3 評價指標
3.預訓練模型
3.1 靜態詞向量預訓練模型
3.2 動態詞向量預訓練模型
3.3 預訓練語言模型
4.自然語言處理中的神經網絡
4.1 多層感知機
4.2 卷積神經網絡
4.3 循環神經網絡
4.4 注意力機制
4.5 Transformer模型
4.6 提示學習Prompt Learning
5.差分隱私相關基礎
5.1 中心化差分隱私
5.2 本地差分隱私
5.3 度量差分隱私
5.4 UMLDP (Utility-optimized MLDP)
5.5 噪聲機制
6.攻擊類型
6.1 成員推理攻擊
6.2 重建攻擊
6.3 屬性推理攻擊
6.4 模型抽取攻擊
6.5 梯度信息攻擊
6.6 基于提示信息攻擊
7.基于單詞層級的差分隱私方法
7.1 中心化差分隱私場景下
7.2 本地化差分隱私場景下
7.3 度量差分隱私場景下
8.基于Token層級的差分隱私方法
8.1 SANTEXT和SANTEXT+
8.2 基于Bett系列的差分隱私方法
9.基于句子層級的差分隱私方法
9.1 Skip-Thoughts向量
9.2 Sent2Vec
9.3 Doc2Vec
9.4 SBERT
9.5 模糊詞袋方法Fuzzy Bag-of-Words
9.6 其他方法
9.7 句子層級差分隱私方法框架
10.基于主題層級的差分隱私方法
1O.1 LDA方法
10.2 基于LDA方法的差分隱私技術
10.3 基于編碼擾動方法
1O.4 基于文檔層級的方法
10.5 SynTF方法
10.6 基于計數布隆過濾器差分隱私方法
11.基于梯度的差分隱私方法
11.1 DP-SGD
11.2 DP-Adam
11.3 DP-BERT
11.4 RGP
12.自然語言模型的可解釋性
12.1 模型的解釋技術
12.2 預測結果和解釋技術
12.3 模仿者模型解釋技術
12.4 性能評估
12.5 未來的挑戰
參考文獻
新書資訊