本書以實用為宗旨，講解如何在不依賴云服務的情況下使用Unity獨立開發安全、可靠的音視頻通信技術。全書共計10章，主要包括Unity音視頻通信、Unity軟件基礎、3D數學與著色器基礎、多媒體音頻技術、多媒體視頻技術、Unity網絡通信基礎、跨平臺音視頻通信核心、桌面平臺音視頻通信實現、Android平臺音視頻通信實現、XR平臺音視頻通信實現的相關內容。本書適合對跨平臺音視頻通信技術有需求、感興趣的讀者閱讀，也適合跨平臺音視頻通信應用程序的相關開發者閱讀，還適合高校及培訓機構相關專業的師生參考閱讀。
李清凱濰坊幻視軟件科技有限公司主程。科學與信息技術專業，全棧工程師，微軟系技術追隨者，擅長Net Core、Unity 3D、Machine Learning等技術開發。對數據負載均衡、數據優化等技術有大量實際應用經驗。《一種跨平臺視頻通信方法》專利發明人。李淑英，98年至今在濰坊創新教育研究院負責遠程視頻監控、學校安全教育等工作。在視頻通信編碼及傳輸的技術領域積累了寶貴的經驗，《一種跨平臺視頻通信方法》專利發明人，山東省省級先進工作者。
第1章 Unity音視頻通信 1
1.1 引言 1
1.2 發展歷程 1
1.3 技術應用 2
1.3.1 應用場景 2
1.3.2 應用需求 2
1.4 本章總結 3
第2章 Unity軟件基礎 4
2.1 引言 4
2.2 軟件介紹 4
2.2.1 簡介 4
2.2.2 Unity版本 5
2.2.3 Unity Hub簡介 5
2.3 界面介紹 8
2.3.1 菜單欄 8
2.3.2 導航欄 9
2.3.3 工作區 10
2.4 窗口介紹 10
2.4.1 Project窗口 10
2.4.2 Hierarchy窗口 12
2.4.3 Inspector窗口 13
2.4.4 Scene窗口 14
2.4.5 Game窗口 15
2.5 項目創建 16
2.5.1 創建新項目 16
2.5.2 添加項目 17
2.6 物體、組件 17
2.6.1 常用的物體 17
2.6.2 常用的組件 18
2.7 腳本 18
2.7.1 腳本創建 18
2.7.2 生命周期 19
2.7.3 變量與函數 21
2.7.4 計算與賦值 21
2.8 資源包管理 22
2.8.1 資源包導入 22
2.8.2 資源包導出 23
2.9 構建設置 24
2.10 本章總結 25
第3章 3D數學與著色器基礎 26
3.1 引言 26
3.2 3D數學坐標系 26
3.2.1 全局坐標系 26
3.2.2 局部坐標系 27
3.2.3 屏幕坐標系 27
3.2.4 視口坐標系 27
3.2.5 坐標系轉換 27
3.3 向量 28
3.3.1 向量介紹 28
3.3.2 Vector類 29
3.4 著色器基礎 29
3.4.1 認識表面著色器 30
3.4.2 表面著色器的應用示例 33
3.4.3 計算著色器 36
3.4.4 計算著色器灰度圖的應用示例 39
3.4.5 計算著色器圖片像素顯示處理的應用示例 41
3.5 本章總結 44
第4章 多媒體音頻技術 45
4.1 引言 45
4.2 音頻介紹 45
4.2.1 音頻設備 45
4.2.2 音頻源組件 46
4.2.3 音頻權限 48
4.3 音頻多通道 49
4.3.1 多通道介紹 49
4.3.2 Unity多通道 49
4.4 音頻采樣 51
4.4.1 采樣率與采樣大小 51
4.4.2 Unity音頻采樣處理 51
4.5 音頻數字化 52
4.5.1 數字音頻 52
4.5.2 音頻質量 53
4.5.3 Unity音頻數字化 53
4.6 本章總結 56
第5章 多媒體視頻技術 57
5.1 引言 57
5.2 視頻設備與權限 57
5.2.1 視頻設備 57
5.2.2 視頻權限 58
5.3 圖像捕捉與視頻捕捉 59
5.3.1 圖像捕捉 59
5.3.2 視頻捕捉 61
5.4 圖像數字化 64
5.4.1 圖像及視頻種類 64
5.4.2 Unity圖像的數字化處理 65
5.5 圖像和視頻壓縮技術 69
5.5.1 圖像壓縮 70
5.5.2 視頻壓縮 71
5.6 本章總結 72
第6章 Unity網絡通信基礎 73
6.1 引言 73
6.2 Unity通信API 73
6.2.1 通信API簡介 73
6.2.2 簡單的HTTP通信 73
6.3 TCP通信 75
6.3.1 TCP介紹 75
6.3.2 TCP通信原理 76
6.3.3 Unity中基于Socket的高性能TCP通信實現——服務器端 78
6.3.4 Unity中基于Socket的高性能TCP通信實現——客戶端 102
6.4 UDP通信 117
6.4.1 UDP介紹 117
6.4.2 UDP通信原理 118
6.4.3 Unity中基于Socket的高性能UDP通信實現 119
6.5 本章總結 129
第7章 跨平臺音視頻通信核心 130
7.1 引言 130
7.2 音頻處理 130
7.2.1 音頻發送 130
7.2.2 音頻接收 137
7.3 圖像處理 142
7.3.1 圖像發送 142
7.3.2 圖像接收 146
7.4 本章總結 149
第8章 桌面平臺音視頻通信實現 150
8.1 引言 150
8.2 構建設置 150
8.2.1 開發平臺 150
8.2.2 Player設置 152
8.3 項目建立 157
8.3.1 場景搭建 157
8.3.2 組件設置 158
8.3.3 測試發布 160
8.3.4 測試運行 160
8.4 本章總結 161
第9章 Android平臺音視頻通信實現 162
9.1 引言 162
9.2 構建設置 162
9.2.1 開發平臺 162
9.2.2 Player 設置 164
9.3 項目建立 174
9.3.1 場景搭建與貼圖壓縮 174
9.3.2 組件設置 197
9.3.3 測試發布 197
9.3.4 測試運行 198
9.4 本章總結 198
第10章 XR平臺音視頻通信實現 199
10.1 引言 199
10.2 HoloLens介紹 199
10.2.1 硬件介紹 199
10.2.2 平臺介紹 201
10.3 MRTK介紹 201
10.3.1 MRTK簡介 201
10.3.2 MRTK應用 205
10.4 構建設置 209
10.4.1 開發平臺 209
10.4.2 Player 設置 211
10.5 項目建立 217
10.5.1 場景搭建與貼圖壓縮 217
10.5.2 組件設置 242
10.5.3 測試發布 243
10.5.4 測試運行 247
10.6 本章總結 248
新書資訊