本書詳細(xì)介紹自然語言處理各主要領(lǐng)域的原理以Java 實(shí)現(xiàn)，包括中文分詞、詞性標(biāo)注、依存句法分析等。其中詳細(xì)介紹了中文分詞和詞性標(biāo)注的過程及相關(guān)算法，如隱馬爾可夫模型等。在自然語言處理的應(yīng)用領(lǐng)域主要介紹了信息抽取、自動(dòng)文摘、文本分類等領(lǐng)域的基本理論和實(shí)現(xiàn)過程，此外還有問答系統(tǒng)、語音識別等目前應(yīng)用非常廣泛的領(lǐng)域。在問答系統(tǒng)的介紹中，本書特地介紹了聊天機(jī)器人的實(shí)現(xiàn)過程，從句子理解、句法分析、同義詞提取等方面揭示聊天機(jī)器人的實(shí)現(xiàn)原理。
羅剛，獵兔搜索創(chuàng)始人，帶領(lǐng)獵兔搜索技術(shù)開發(fā)團(tuán)隊(duì)先后開發(fā)出獵兔中文分詞系統(tǒng)、獵兔信息提取系統(tǒng)、獵兔智能垂直搜索系統(tǒng)以及網(wǎng)絡(luò)信息監(jiān)測系統(tǒng)等，實(shí)現(xiàn)互聯(lián)網(wǎng)信息的采集、過濾、搜索和實(shí)時(shí)監(jiān)測。曾編寫出版《自己動(dòng)手寫搜索引擎》、《自己動(dòng)手寫網(wǎng)絡(luò)爬蟲》、《使用C#開發(fā)搜索引擎》，獲得廣泛好評。在北京和上海等地均有獵兔培訓(xùn)的學(xué)員。張子憲，聊城大學(xué)教師、中國礦業(yè)大學(xué)（北京）博士生，研究方向：自動(dòng)句法分析、機(jī)器翻譯。
第1章 應(yīng)用自然語言處理技術(shù) 1
1．1 付出與回報(bào) 2
1．1．1 如何開始 2
1．1．2 招聘人員 2
1．1．3 學(xué)習(xí) 3
1．2 開發(fā)環(huán)境 3
1．3 技術(shù)基礎(chǔ) 4
1．3．1 Java 4
1．3．2 規(guī)則方法 5
1．3．3 統(tǒng)計(jì)方法 5
1．3．4 計(jì)算框架 5
1．3．5 文本挖掘 7
1．3．6 語義庫 7
1．4 本章小結(jié) 9
1．5 專業(yè)術(shù)語 9
第2章 中文分詞原理與實(shí)現(xiàn) 11
2．1 接口 12
2．1．1 切分方案 13
2．1．2 詞特征 13
2．2 查找詞典算法 13
2．2．1 標(biāo)準(zhǔn)Trie樹 14
2．2．2 三叉Trie樹 18
2．2．3 詞典格式 26
2．3 最長匹配中文分詞 27
2．3．1 正向最大長度匹配法 28
2．3．2 逆向最大長度匹配法 33
2．3．3 處理未登錄串 39
2．3．4 開發(fā)分詞 43
2．4 概率語言模型的分詞方法 45
2．4．1 一元模型 47
2．4．2 整合基于規(guī)則的方法 54
2．4．3 表示切分詞圖 55
2．4．4 形成切分詞圖 62
2．4．5 數(shù)據(jù)基礎(chǔ) 64
2．4．6 改進(jìn)一元模型 75
2．4．7 二元詞典 79
2．4．8 完全二叉樹組 85
2．4．9 三元詞典 89
2．4．10 N元模型 90
2．4．11 N元分詞 91
2．4．12 生成語言模型 99
2．4．13 評估語言模型 100
2．4．14 概率分詞的流程與結(jié)構(gòu) 101
2．4．15 可變長N元分詞 102
2．4．16 條件隨機(jī)場 103
2．5 新詞發(fā)現(xiàn) 103
2．5．1 成詞規(guī)則 109
2．6 詞性標(biāo)注 109
2．6．1 數(shù)據(jù)基礎(chǔ) 114
2．6．2 隱馬爾可夫模型 115
2．6．3 存儲數(shù)據(jù) 124
2．6．4 統(tǒng)計(jì)數(shù)據(jù) 131
2．6．5 整合切分與詞性標(biāo)注 133
2．6．6 大詞表 138
2．6．7 詞性序列 138
2．6．8 基于轉(zhuǎn)換的錯(cuò)誤學(xué)習(xí)方法 138
2．6．9 條件隨機(jī)場 141
2．7 詞類模型 142
2．8 未登錄詞識別 144
2．8．1 未登錄人名 144
2．8．2 提取候選人名 145
2．8．3 最長人名切分 153
2．8．4 一元概率人名切分 153
2．8．5 二元概率人名切分 156
2．8．6 未登錄地名 159
2．8．7 未登錄企業(yè)名 160
2．9 平滑算法 160
2．10 機(jī)器學(xué)習(xí)的方法 164
2．10．1 最大熵 165
2．10．2 條件隨機(jī)場 170
2．11 有限狀態(tài)機(jī) 171
2．12 地名切分 178
2．12．1 識別未登錄地名 179
2．12．2 整體流程 185
2．13 企業(yè)名切分 187
2．13．1 識別未登錄詞 188
2．13．2 整體流程 190
2．14 結(jié)果評測 190
2．15 本章小結(jié) 191
2．16 專業(yè)術(shù)語 193
第3章 英文分析 194
3．1 分詞 194
3．1．1 句子切分 194
3．1．2 識別未登錄串 197
3．1．3 切分邊界 198
3．2 詞性標(biāo)注 199
3．3 重點(diǎn)詞匯 202
3．4 句子時(shí)態(tài) 203
3．5 本章小結(jié) 204
第4章 依存文法分析 205
4．1 句法分析樹 205
4．2 依存文法 211
4．2．1 中文依存文法 211
4．2．2 英文依存文法 220
4．2．3 生成依存樹 232
4．2．4 遍歷 235
4．2．5 機(jī)器學(xué)習(xí)的方法 237
4．3 小結(jié) 237
4．4 專業(yè)術(shù)語 238
第5章 文檔排重 239
5．1 相似度計(jì)算 239
5．1．1 夾角余弦 239
5．1．2 最長公共子串 242
5．1．3 同義詞替換 246
5．1．4 地名相似度 248
5．1．5 企業(yè)名相似度 251
5．2 文檔排重 251
5．2．1 關(guān)鍵詞排重 251
5．2．2 SimHash 254
5．2．3 分布式文檔排重 268
5．2．4 使用文本排重 269
5．3 在搜索引擎中使用文本排重 269
5．4 本章小結(jié) 270
5．5 專業(yè)術(shù)語 270
第6章 信息提取 271
6．1 指代消解 271
6．2 中文關(guān)鍵詞提取 273
6．2．1 關(guān)鍵詞提取的基本方法 273
6．2．2 HITS算法應(yīng)用于關(guān)鍵詞提取 275
6．2．3 從網(wǎng)頁中提取關(guān)鍵詞 277
6．3 信息提取 278
6．3．1 提取聯(lián)系方式 280
6．3．2 從互聯(lián)網(wǎng)提取信息 281
6．3．3 提取地名 282
6．4 拼寫糾錯(cuò) 283
6．4．1 模糊匹配問題 285
6．4．2 正確詞表 296
6．4．3 英文拼寫檢查 298
6．4．4 中文拼寫檢查 300
6．5 輸入提示 302
6．6 本章小結(jié) 303
6．7 專業(yè)術(shù)語 303
第7章 自動(dòng)摘要 304
7．1 自動(dòng)摘要技術(shù) 305
7．1．1 英文文本摘要 307
7．1．2 中文文本摘要 309
7．1．3 基于篇章結(jié)構(gòu)的自動(dòng)摘要 314
7．1．4 句子壓縮 314
7．2 指代消解 314
7．3 Lucene中的動(dòng)態(tài)摘要 314
7．4 本章小結(jié) 317
7．5 專業(yè)術(shù)語 318
第8章 文本分類 319
8．1 地名分類 321
8．2 錯(cuò)誤類型分類 321
8．3 特征提取 322
8．4 關(guān)鍵詞加權(quán)法 326
8．5 樸素貝葉斯 330
8．6 貝葉斯文本分類 336
8．7 支持向量機(jī) 336
8．7．1 多級分類 345
8．7．2 規(guī)則方法 347
8．7．3 網(wǎng)頁分類 350
8．8 最大熵 351
8．9 信息審查 352
8．10 文本聚類 353
8．10．1 K均值聚類方法 353
8．10．2 K均值實(shí)現(xiàn) 355
8．10．3 深入理解DBScan算法 359
8．10．4 使用DBScan算法聚類實(shí)例 361
8．11 本章小結(jié) 363
8．12 專業(yè)術(shù)語 363
第9章 文本傾向性分析 364
9．1 確定詞語的褒貶傾向 367
9．2 實(shí)現(xiàn)情感識別 368
9．3 本章小結(jié) 372
9．4 專業(yè)術(shù)語 373
第10章 問答系統(tǒng) 374
10．1 問答系統(tǒng)的結(jié)構(gòu) 375
10．1．1 提取問答對 376
10．1．2 等價(jià)問題 376
10．2 問句分析 377
10．2．1 問題類型 377
10．2．2 句型 381
10．2．3 業(yè)務(wù)類型 381
10．2．4 依存樹 381
10．2．5 指代消解 383
10．2．6 二元關(guān)系 383
10．2．7 邏輯表示 386
10．2．8 問句模板 386
10．2．9 結(jié)構(gòu)化問句模板 389
10．2．10 檢索方式 390
10．2．11 問題重寫 395
10．2．12 提取事實(shí) 395
10．2．13 驗(yàn)證答案 398
10．2．14 無答案的處理 398
10．3 知識庫 398
10．4 聊天機(jī)器人 399
10．4．1 交互式問答 401
10．4．2 垂直領(lǐng)域問答系統(tǒng) 402
10．4．3 語料庫 405
10．4．4 客戶端 405
10．5 自然語言生成 405
10．6 依存句法 406
10．7 提取同義詞 410
10．7．1 流程 410
10．8 本章小結(jié) 411
10．9 術(shù)語表 412
第11章 語音識別 413
11．1 總體結(jié)構(gòu) 414
11．1．1 識別中文 416
11．1．2 自動(dòng)問答 417
11．2 語音庫 418
11．3 語音合成 419
11．3．1 歸一化 420
11．4 語音 420
11．4．1 標(biāo)注 424
11．4．2 相似度 424
11．5 Sphinx 424
11．5．1 中文訓(xùn)練集 426
11．6 Julius 429
11．7 本章小結(jié) 429
11．8 術(shù)語表 429
參考資源 430
后記 431
新書資訊