本書在介紹如何利用前端技術來實現深度學習的模型部署和預測的基礎上，重點介紹了若干運用前端AI技術的典型場景。本書內容包括三大部分：前端與AI、引入新模型和Web AI進階。本書重點講解模型開發的“全鏈路”，從模型供給到業務實現，串聯起前端AI開發的整個流程。讀者可以根據定制化的需求利用Paddle.js前端推理引擎完成算子開發、精度對齊、業務場景接入等具體的研發工作。本書不僅可以使讀者對前端AI的理論和技術體系有深入的了解，還能通過指導實現推理效果的驗證，讓前端開發和AI技術深入結合，實現理論和實踐的統一。
張靜媛畢業于西安電子科技大學。在百度參與了語音搜索、百度暢聽、百度體育等產品的前端研發工作。目前主要參與 Paddle.js 移動 AI 開發和探索工作，以及搜索團隊前端橫向技術方向的工作，致力于提升搜索前端技術的基礎設施建設。岳雙燕畢業于山東大學。在百度參與了多模視覺搜索、百度搜索TOP1、泛娛樂、垂類等產品的前端研發工作，以及搜索團隊前端性能及穩定性等技術方向的工作。目前主要參與 Paddle.js 移動 AI 開發和探索。樊中愷畢業于北京科技大學，前端架構師，Paddle.js負責人。2008年開始接觸前端開發，并于2012年進入移動端開發領域。曾先后負責百度瀏覽器、百度文庫、百度閱讀、手百App的前端技術架構工作。目前工作的主要方向為AI-Native應用的研發。在端智能、工程化、前端架構等領域擁有豐富的經驗。
第1部分 前端與AI
第1章 Web AI 2
1.1 Web AI的特點 3
1.2 Web AI的發展歷程 5
1.3 總結 8
第2章 神經網絡和前端推理引擎 9
2.1 感知機 10
2.2 從感知機到神經網絡 12
2.3 前端推理引擎 15
2.4 總結 18
第3章 Paddle.js 初探 19
3.1 AI全鏈路 19
3.1.1 AI全鏈路基本介紹 20
3.1.2 前端推理引擎Paddle.js 21
3.2 模型和神經網絡拓撲結構 24
3.2.1 模型結構文件與參數文件 25
3.2.2 神經網絡拓撲結構 26
3.3 推理過程與運行環境 31
3.3.1 推理過程 31
3.3.2 運行環境 33
3.4 使用Paddle.js 33
3.5 總結 44
第4章 CV項目實戰 46
4.1 paddlejs-models模型庫 46
4.1.1 backend選擇 47
4.1.2 引入模型 library 48
4.2 經典CV模型實戰 50
4.2.1 圖像分類 51
4.2.2 圖像分割 56
4.2.3 目標檢測 66
4.3 小程序CV項目 73
4.3.1 微信小程序插件paddlejsPlugin 73
4.3.2 百度智能小程序動態庫paddlejs 76
4.4 總結 78
第2部分 引入新模型
第5章 模型準備 82
5.1 模型轉換 82
5.1.1 轉換工具使用 83
5.1.2 轉換過程 87
5.2 模型算子 90
5.2.1 算子基本信息 90
5.2.2 算子計算規則 92
5.3 算子開發與測試 93
5.3.1 算子開發 93
5.3.2 算子測試 96
5.4 總結 99
第6章 模型前后處理 100
6.1 模型前處理 100
6.1.1 媒體資源獲取 101
6.1.2 輸入數據處理 107
6.2 模型后處理 114
6.2.1 目標分類 114
6.2.2 目標框選 115
6.2.3 目標分割 116
6.3 總結 117
第7章 圖像處理 118
7.1 簡單濾鏡 118
7.1.1 灰度 119
7.1.2 色相旋轉 121
7.2 美顏效果 125
7.2.1 美白濾鏡 125
7.2.2 磨皮濾鏡 129
7.2.3 瘦臉濾鏡 134
7.2.4 大眼濾鏡 139
7.3 總結 142
第3部分 Web AI進階
第8章 計算方案 146
8.1 基本概念 146
8.1.1 多線程 147
8.1.2 SIMD 147
8.1.3 CPU與GPU 148
8.2 計算方案介紹 149
8.2.1 PlainJS計算方案 150
8.2.2 WebGL計算方案 151
8.2.3 WebGPU 計算方案 154
8.2.4 WebAssembly計算方案 159
8.2.5 NodeGL計算方案 161
8.2.6 Web Worker在Paddle.js上的應用 161
8.3 計算方案對比 168
8.4 總結 169
第9章 性能優化 170
9.1 算子融合 170
9.2 向量化計算 174
9.3 多線程 179
9.4 總結 186
第10章 Web AI應用安全 187
10.1 安全問題與安全目標 187
10.1.1 安全問題 188
10.1.2 安全目標 190
10.2 前端安全技術 191
10.2.1 加解密方案 191
10.2.2 代碼安全 193
10.2.3 安全加固方案 196
10.3 安全方案 197
10.3.1 安全中心 198
10.3.2 離線部署 201
10.3.3 在線推理 202
10.4 總結 203
第11章 Web AI的發展趨勢 205
11.1 Web AI的六大能力 205
11.2 技術展望 209
11.2.1 Web AI的標準 209
11.2.2 Web AI中的端云協同 210
11.3 總結 212
第12章 未來已來 213
12.1 大語言模型簡介 215
12.1.1 什么是GPT 216
12.1.2 超大語言模型帶來的能力躍升 219
12.1.3 GPT-4的又一次生長 221
12.1.4 回答準確性和可解釋性 222
12.2 前端和大語言模型 223
12.2.1 提示語是一切的核心 224
12.2.2 學會如何與GPT交流 230
12.2.3 用GPT優化工作流 233
12.3 關于未來的暢想 242
12.4 給前端工程師的建議 246
新書資訊