隨著科技的進步，互聯網逐漸從電腦、手機屏幕走向VR、AR、智能座艙、智能家居等三維空間，為了讓用戶更自然地獲取信息，多模態交互將起到關鍵作用。本書從人工智能、用戶體驗和技術的角度出發，介紹不同模態之間的差異，本書重點講解語音交互設計、手勢設計、圖形和語音界面融合設計三個方面的知識。 本書適合從事人工智能、語音交互、VR、AR、智能座艙和智能家居的產品經理和設計師閱讀，希望本書能幫助讀者更清晰地知道未來的科技走向。
薛志榮，一名擁有技術背景的設計師，先后在百度、小鵬汽車和華為從事交互設計和人機交互設計相關工作，《AI改變設計——人工智能時代的設計師生存手冊》作者。平時喜歡研究新領域，包括人工智能、智能設計、智能座艙和虛擬現實等，擁有多項發明和外觀專利。個人微信公眾號為“薛志榮”，定期更新前沿領域的設計文章，歡迎閱讀和交流。
第1章 多模交互的演進1
1.1 什么是多模交互 1
1.1.1 人機交互的發展歷史 1
1.1.2 多模交互的定義 4
1.1.3 多模交互技術逐漸成熟 6
1.1.4 多模融合的三個階段 9
1.2 初步融合階段 10
1.2.1 多模態之間的關系 10
1.2.2 多模融合的關鍵12
1.2.3 多模交互框架 13
1.3 語義理解階段 14
1.3.1 什么是語義 14
1.3.2 語義對于多模交互的重要性 15
1.4 任務自適應階段 17
1.4.1 認知負荷 17
1.4.2 隱私性19
1.4.3 安全性20
1.4.4 模態容量 20
1.4.5 信息重要程度和交互歷史 21
1.4.6 交互距離22
1.5 當前我們能做什么 23
第2章 多模交互包含什么 25
2.1 視覺系統的特點 25
2.1.1 視覺范圍25
2.1.2 3.5 毫米的中央凹和每秒3~4次的跳動頻率 26
2.1.3 中央視覺和周圍視覺 28
2.1.4 我們是如何閱讀的 29
2.1.5 光亮與黑暗31
2.2 聽覺32
2.2.1 聽覺系統的特點32
2.2.2 視覺和聽覺的區別 34
2.3 觸覺 35
2.3.1 觸覺系統的特點 35
2.3.2 觸覺感知的相關應用 35
2.4 嗅覺、味覺和五感理論 40
2.4.1 嗅覺系統和味覺系統的特點 40
2.4.2 嗅覺營銷相關案例 42
2.4.3 嗅覺交互上的探索 43
2.4.4 嗅覺和味覺設計存在的問題 45
2.4.5 五感理論 45
2.5 主動交互47
2.5.1 包含情緒的語音 47
2.5.2 肢體動作 48
2.5.3 手勢 49
2.5.4 面部表情 51
2.5.5 眼神 51
2.6 無須主動交互的生物識別技術 52
2.6.1 指紋識別 53
2.6.2 人臉識別 53
2.6.3 虹膜識別 54
2.6.4 聲紋識別 55
2.6.5 心率檢測 56
2.6.6 肌肉電信號57
2.6.7 腦電波 58
第3章 語音交互設計61
3.1 聲音的構成和作用 62
3.1.1 語言 63
3.1.2 音樂和音效 67
3.2 語音交互的特點 70
3.2.1 語音交互的優勢 70
3.2.2 語音交互的不足 72
3.2.3 語音交互的五大特性 77
3.3 創造一位智能語音助手 78
3.3.1 尋找合適的音色 80
3.3.2 確定智能語音助手和用戶的關系 82
3.3.3 構建智能語音助手的用戶畫像 84
3.3.4 設計合理的喚醒詞 86
3.4 語音交互框架、意圖設計 88
3.4.1 四種語音交互模式 88
3.4.2 四種“喚醒+識別”方式89
3.4.3 語音交互狀態設計 90
3.4.4 意圖設計術語介紹 94
3.4.5 智能語音平臺如何聽懂用戶說的話 98
3.4.6 設計能聽懂用戶說什么的智能語音產品 101
3.5 對話設計原則 107
3.5.1 設計對話前需要了解的事項 107
3.5.2 任務型對話設計原則 113
3.5.3 修復對話設計原則 118
3.6 語音交互的GUI 設計 121
第4章 仍在起步的隔空手勢交互130
4.1 手勢的介紹 130
4.1.1 手勢交互的發展 130
4.1.2 手勢的分類 132
4.2 隔空手勢設計 135
4.2.1 設計隔空手勢時需要考慮的問題 135
4.2.2 導航手勢 141
4.2.3 語義手勢 144
4.2.4 操縱手勢 146
4.3 結合隔空手勢的UI設計 147
4.3.1 數字手部 147
4.3.2 直接觸摸 149
4.3.3 指針設計 150
4.3.4 交互組件的改造 152
第5章 語音圖形界面157
5.1 GUI和VUI的區別 158
5.1.1 GUI的特點 158
5.1.2 VUI的特點160
5.1.3 GUI和VUI融合時會遇到的問題 162
5.2 GUI和VUI融合的三種實現方式 165
5.2.1 應用級語音交互 166
5.2.2 可見即可說 170
5.2.3 系統級語音交互 171
5.3 VGUI設計原則 172
5.4 重構GUI操作 179
5.4.1 GUI控件文案設計 179
5.4.2 GUI組件和容器文案設計 184
5.4.3 特殊的控件和組件 185
5.5 VGUI核心設計要點187
5.5.1 全局指令和局部指令的權衡 187
5.5.2 控件/組件屬性的重構 192
5.5.3 手勢的融合 200
第6章 跨設備和多模交互 201
6.1 跨設備交互是什么201
6.1.1 跨設備和多模交互的關系 201
6.1.2 跨設備交互的六個維度 202
6.2 淺談跨設備和多模交互細節 206
6.2.1 結合用戶場景進行考慮206
6.2.2 結合信息密度和顯示距離進行考慮208
6.2.3 模態的過渡和打斷 211
6.3 未來可期 212
6.3.1 面向未來的分布式操作系統 212
6.3.2 普適計算及未來 213
新書資訊