掌握Hadoop高級數(shù)據(jù)分析技術(shù)
學(xué)習(xí)高級分析技術(shù)，并利用現(xiàn)有工具包使分析應(yīng)用更加強(qiáng)大、精確和高效！《Hadoop高級數(shù)據(jù)分析 使用Hadoop生態(tài)系統(tǒng)設(shè)計(jì)和構(gòu)建大數(shù)據(jù)系統(tǒng)》將架構(gòu)、設(shè)計(jì)及實(shí)現(xiàn)信息恰當(dāng)?shù)厝跒橐惑w，將指導(dǎo)你創(chuàng)建超越基礎(chǔ)方法(SF分類、聚類、推薦)的分析系統(tǒng)。
在《Hadoop 高級數(shù)據(jù)分析 使用Hadoop 生態(tài)系統(tǒng)設(shè)計(jì)和構(gòu)建大數(shù)據(jù)系統(tǒng)》中，最佳實(shí)踐強(qiáng)調(diào)“確保連貫、高效的開發(fā)”。將使用包含工具箱、庫、可視化組件和報(bào)表代碼在內(nèi)的標(biāo)準(zhǔn)第三方組件，借助集成“組合件”開發(fā)一個可運(yùn)行的、可擴(kuò)展的、端到端的完整示例系統(tǒng)。
《Hadoop 高級數(shù)據(jù)分析 使用Hadoop 生態(tài)系統(tǒng)設(shè)計(jì)和構(gòu)建大數(shù)據(jù)系統(tǒng)》強(qiáng)調(diào)以下四點(diǎn)：
● 具有分析組件及合理可視化結(jié)果的完整、靈活、可配置、高性能數(shù)據(jù)管道系統(tǒng)的重要性。深入探討的主題包括Spark、H2O、Vopal Wabbit(NLP)、Stanford NLP、Apache Mahout，以及其他適用的工具包、庫和插件。
● 最佳實(shí)踐和結(jié)構(gòu)化設(shè)計(jì)原則。包括重要主題及示例部分。
● 用混合搭配或混合系統(tǒng)實(shí)現(xiàn)應(yīng)用目標(biāo)的重要性。你在學(xué)習(xí)深度示例時可體會到混合方法的重要性。
● 使用現(xiàn)有第三方庫是有效開發(fā)的關(guān)鍵。在開發(fā)示例系統(tǒng)時，深度示例將展示一些第三方工具包的功能。
前 言
Apache Hadoop軟件庫逐漸受到重視。它是許多公司、政府機(jī)構(gòu)、科研設(shè)施進(jìn)行高級分布式開發(fā)的基礎(chǔ)。Hadoop生態(tài)系統(tǒng)現(xiàn)在包含幾十個組件用于搜索引擎、數(shù)據(jù)庫和數(shù)據(jù)倉庫進(jìn)行圖像處理、深度學(xué)習(xí)及自然語言處理。隨著Hadoop2的出現(xiàn)，不同的資源管理器可用于提供更高級別的復(fù)雜性和控制力。競爭對手、替代品以及Hadoop技術(shù)和架構(gòu)的繼承/變種比比皆是，包括Apache Flink、Apache Spark等。軟件專家和評論員多次宣布“Hadoop的死亡”。
我們必須正視一個問題：Hadoop死了嗎？這取決于Hadoop本身的感知界限。我們是否認(rèn)為Apache Spark是Hadoop批處理文件方法的內(nèi)存繼承者，是Hadoop家族的一部分，僅僅因?yàn)锳pache Spark也使用了Hadoop文件系統(tǒng)HDFS？存在很多“灰色區(qū)域”的其他例子，其中較新的技術(shù)取代或增強(qiáng)了原有的“Hadoop經(jīng)典”功能。分布式計(jì)算是一個不斷移動的目標(biāo)，是Hadoop和Hadoop生態(tài)系統(tǒng)的分界線，在短短幾年間已經(jīng)發(fā)生了顯著變化。在本書中，我們試圖展示Hadoop及其相關(guān)生態(tài)系統(tǒng)的一些多樣的、動態(tài)的方面，并試圖說服你，盡管Hadoop發(fā)生變化，但它依然非常活躍、與當(dāng)前的軟件開發(fā)相關(guān)并且使數(shù)據(jù)分析程序員特別感興趣。
Kerry Koitzsch在計(jì)算機(jī)科學(xué)、圖像處理和軟件工程等領(lǐng)域擁有超過二十年的工作經(jīng)驗(yàn)，致力于研究Apache Hadoop和Apache Spark技術(shù)。Kerry擅長軟件咨詢，精通一些定制的大數(shù)據(jù)應(yīng)用，包括分布式搜索、圖像分析、立體視覺和智能圖像檢索系統(tǒng)。Kerry目前就職于Kildane軟件技術(shù)股份有限公司，該公司是加州桑尼維爾市的一個機(jī)器人系統(tǒng)和圖像分析軟件提供商。
目錄
第Ⅰ部分概念
第1章概述：用Hadoop構(gòu)建數(shù)據(jù)分析系統(tǒng)3
1.1構(gòu)建DAS的必要性4
1.2HadoopCore及其簡史4
1.3Hadoop生態(tài)系統(tǒng)概述5
1.4AI技術(shù)、認(rèn)知計(jì)算、深度學(xué)習(xí)以及BDA6
1.5自然語言處理與BDAS6
1.6SQL與NoSQL查詢處理6
1.7必要的數(shù)學(xué)知識7
1.8設(shè)計(jì)及構(gòu)建BDAS的循環(huán)過程7
1.9如何利用Hadoop生態(tài)系統(tǒng)實(shí)現(xiàn)BDA10
1.10“圖像大數(shù)據(jù)”(IABD)基本思想10
1.10.1使用的編程語言12
1.10.2Hadoop生態(tài)系統(tǒng)的多語言組件12
1.10.3Hadoop生態(tài)系統(tǒng)架構(gòu)13
1.11有關(guān)軟件組合件與框架的注意事項(xiàng)13
1.12ApacheLucene、Solr及其他：開源搜索組件14
1.13建立BDAS的架構(gòu)15
1.14你需要了解的事情15
1.15數(shù)據(jù)可視化與報(bào)表17
1.15.1使用EclipseIDE作為開發(fā)環(huán)境18
1.15.2本書未講解的內(nèi)容19
1.16本章小結(jié)21
第2章Scala及Python進(jìn)階23
2.1動機(jī)：選擇正確的語言定義應(yīng)用23
2.2Scala概覽24
2.3Python概覽29
2.4錯誤診斷、調(diào)試、配置文件及文檔31
2.4.1Python的調(diào)試資源32
2.4.2Python文檔33
2.4.3Scala的調(diào)試資源33
2.5編程應(yīng)用與示例33
2.6本章小結(jié)34
2.7參考文獻(xiàn)34
第3章Hadoop及分析的標(biāo)準(zhǔn)工具集35
3.1庫、組件及工具集：概覽35
3.2在評估系統(tǒng)中使用深度學(xué)習(xí)方法38
3.3使用Spring框架及SpringData44
3.4數(shù)字與統(tǒng)計(jì)庫：R、Weka及其他44
3.5分布式系統(tǒng)的OLAP技術(shù)44
3.6用于分析的Hadoop工具集：ApacheMahout及相關(guān)工具45
3.7ApacheMahout的可視化46
3.8ApacheSpark庫與組件46
3.8.1可供選擇的不同類型的shell46
3.8.2ApacheSpark數(shù)據(jù)流47
3.8.3SparklingWater與H2O機(jī)器學(xué)習(xí)48
3.9組件使用與系統(tǒng)建立示例48
3.10封包、測試和文檔化示例系統(tǒng)50
3.11本章小結(jié)51
3.12參考文獻(xiàn)51
第4章關(guān)系、NoSQL及圖數(shù)據(jù)庫53
4.1圖查詢語言：Cypher及Gremlin55
4.2Cypher示例55
4.3Gremlin示例56
4.4圖數(shù)據(jù)庫：ApacheNeo4J58
4.5關(guān)系數(shù)據(jù)庫及Hadoop生態(tài)系統(tǒng)59
4.6Hadoop以及UA組件59
4.7本章小結(jié)63
4.8參考文獻(xiàn)64
第5章數(shù)據(jù)管道及其構(gòu)建方法65
5.1基本數(shù)據(jù)管道66
5.2ApacheBeam簡介67
5.3ApacheFalcon簡介68
5.4數(shù)據(jù)源與數(shù)據(jù)接收：使用ApacheTika構(gòu)建數(shù)據(jù)管道68
5.5計(jì)算與轉(zhuǎn)換70
5.6結(jié)果可視化及報(bào)告71
5.7本章小結(jié)74
5.8參考文獻(xiàn)74
第6章Hadoop、Lucene、Solr與高級搜索技術(shù)75
6.1Lucene/Solr生態(tài)系統(tǒng)簡介75
6.2Lucene查詢語法76
6.3使用Solr的編程示例79
6.4使用ELK棧(Elasticsearch、Logstash、Kibana)85
6.5Solr與Elasticsearch：特點(diǎn)與邏輯93
6.6應(yīng)用于Elasticsearch和Solr的SpringData組件95
6.7使用LingPipe和GATE實(shí)現(xiàn)定制搜索99
6.8本章小結(jié)108
6.9參考文獻(xiàn)108
第Ⅱ部分架構(gòu)及算法
第7章分析技術(shù)及算法概覽111
7.1算法類型綜述111
7.2統(tǒng)計(jì)/數(shù)值技術(shù)112
7.3貝葉斯技術(shù)113
7.4本體驅(qū)動算法114
7.5混合算法：組合算法類型115
7.6代碼示例116
7.7本章小結(jié)119
7.8參考文獻(xiàn)119
第8章規(guī)則引擎、系統(tǒng)控制與系統(tǒng)編排121
8.1規(guī)則系統(tǒng)JBossDrools介紹121
8.2基于規(guī)則的軟件系統(tǒng)控制124
8.3系統(tǒng)協(xié)調(diào)與JBossDrools125
8.4分析引擎示例與規(guī)則控制126
8.5本章小結(jié)129
8.6參考文獻(xiàn)129
第9章綜合提升：設(shè)計(jì)一個完整的分析系統(tǒng)131
9.1本章小結(jié)136
9.2參考文獻(xiàn)136
第Ⅲ部分組件與系統(tǒng)
第10章數(shù)據(jù)可視化：可視化與交互分析139
10.1簡單的可視化139
10.2AngularJS和Friends簡介143
10.3使用JHipster集成SpringXD
和AngularJS143
10.4使用d3.js、sigma.js及其他
工具152
10.5本章小結(jié)153
10.6參考文獻(xiàn)153
第Ⅳ部分案例研究與應(yīng)用
新書資訊