本書的緣起與成書過程大數據經過分析能夠產生高價值,這無疑已在大數據火爆的今天成為共識,從而使得大數據分析在“大數據+”涉及的領域(如工業、醫療、農業、教育等)有了廣泛的應用。大數據分析的相關知識不僅是大數據行業的從業人員應該必備的,也是和大數據相關的各行各業的從業者需要了解的。
然而,人們對大數據分析的解讀有多個不同方面。從“分析”的角度解讀,大數據分析可以看作統計分析的延伸;從 “數據”的角度解讀,大數據分析可以看作數據管理與挖掘的擴展;從“大”的角度解讀,大數據分析可以看作數據密集高性能計算的具體化。
而大數據分析的有效實施也需要多個方面的知識。從分析的角度來講,需要統計學、數據分析、機器學習等方面的知識;從數據處理的角度來講,需要數據庫、數據挖掘等方面的知識;從計算平臺的角度來講,需要并行系統和并行計算的知識。
上述多樣化造成了目前大數據分析的教材和參考書的多樣化:有些書重點介紹統計學或者機器學習知識,突出“分析”;有些書重點介紹實現平臺和技術,突出“大”;有些書重點介紹數據挖掘知識及其應用,突出“數據”。筆者認為,這三類知識對大數據分析都是必不可少的,于是試圖編寫一本教材來融合這三類知識,給讀者展示一個相對廣闊的大數據分析圖景。
也正是因為解讀的角度和所需知識的多樣化,本書的成書過程也比較曲折。在成書的過程中,筆者對大數據分析的認識也在不斷加深,因而在編寫過程中幾次變換結構和體例。由于筆者主要從事數據相關工作,所以起初以大數據分析算法和相關技術為主,對數據分析模型方面的知識只是一筆帶過。在和業內人士的交流中發現,對于很多讀者來說,了解分析模型可能更重要,因為很多分析算法和大數據分析所需的技術都有平臺實現,分析模型卻需要了解業務的人來建立,于是筆者增加了較多數據分析模型方面的內容。而后通過和阿里云的合作,筆者又進一步了解了大數據分析的需求,于是增加了數據預處理等內容,并基于阿里云的技術和平臺對書中的一些內容做了實現。這就是本書現在的版本。
本書的內容本書力求系統地介紹大數據分析過程中的模型、技術、實現平臺和應用。考慮到不同部分的側重不同,故采取了不同的寫作方法,盡可能使本書的內容適合更多的讀者閱讀。
模型部分主要突出了大數據分析模型的描述方法。通過這一部分的學習,讀者可以在不考慮實現的情況下,針對應用需求建立大數據分析模型,即使不了解實現平臺和具體技術,讀者也可以獨立學習這部分內容。在實踐中,可以將分析模型表達為R語言,甚至像阿里云提供的可視化工具中那樣分析流程,即使不掌握算法等方面的技術,同樣可以進行大數據分析。
當然,如果對大數據分析相關技術有深入了解,會更加快速有效地進行分析,因而技術部分介紹了大數據分析所涉及的技術,重點在于解決大數據分析的效率和可擴展性問題。
“工欲善其事,必先利其器”,有了好的開發平臺,就可以有效地實現相關的技術,因而實現平臺部分介紹了多種開發大數據分析系統的實現平臺。
最后兩章針對“推薦系統”和“社交網絡”這兩個大數據分析的典型應用涉及的一些模型和技術進行了介紹,也是前面內容在應用中的具體體現。
“大數據”是一個比較寬泛的概念,本書圍繞著分析過程進行講解,突出大數據的特點,與大數據算法、大數據系統、大數據程序的編程實現、機器學習、統計學等書籍具有互補性,讀者可以相互參考。
為方便讀者的學習,筆者總結了一些大數據分析常用系統和工具的安裝與配置方法,讀者可登錄華章網站(www.hzbook.com)在本書網頁中下載文檔。
本書沒講什么由于大數據分析涉及的內容過于寬泛,盡管筆者試圖從多個角度介紹大數據分析,但是限于本書的寫作周期和篇幅,有一些讀者關心的內容并沒有包括在本書之中,比如:
數據流分析算法神經網絡/深度學習大數據可視化大圖分析算法大數據分析技術在醫療、社會安全、教育、工業等多個領域的應用一方面,讀者可以閱讀相關的書籍了解這些領域的內容;另一方面,筆者也正在籌劃,期望能夠在本書的再版中列入上述內容。
致使用本書的教師本書涉及多方面內容,對于教學而言,本書適用于多門課程的教學,除了直接用于“大數據分析”或者“數據科學”課程的教學之外,還可以作為“數理統計”“數據挖掘”“機器學習”等課程的補充教材。
針對不同專業的教學,教師可以選擇不同的內容。針對計算機科學專業的本科生或者研究生,可以全面講授本書的內容,但深度和側重點上可以有所差別。針對培養數據科學家的“數據科學”專業的學生,如果培養方案中沒有計算機系統和算法相關的課程,可以重點講授第1~7章的內容,第8~11章可以著重講解技術的選用而不是原理,第15~16章著重講解背景和模型,其中的算法部分可以略去。針對培養工程師的技術類課程或者培訓,可以重點講授第8~14章,第1~7章中對模型的介紹可以略去,僅通過例子
序當前,一場科技革命浪潮正席卷全球,這一次,IT技術是主角之一。云計算、大數據、人工智能、物聯網,這些新技術正加速走向應用。很快,它們將滲透至我們生產、生活中的每個角落,并將深刻改變我們的世界。
在這些新技術當中,云計算作為基礎設施,將全面支撐各類新技術、新應用。我認為:云計算,特別是公共云,將成為這場科技革命的承載平臺,全面支撐各類技術創新、應用創新和模式創新。
作為一種普惠的公共計算資源與服務,云計算與傳統IT計算資源相比有以下幾個方面的優勢:一是硬件的集約化;二是人才的集約化;三是安全的集約化;四是服務的普惠化。
公共云計算的快速發展將帶動云計算產業進入一個新的階段,我們可以稱之為“云計算2.0時代”,云計算對行業演進發展的支撐作用將更加凸顯。
云計算是“數據在線”的主要承載!霸诰”是我們這個時代最重要的本能,它讓互聯網變成了最具滲透力的基礎設施,數據變成了最具共享性的生產資料,計算變成了隨時隨地的公共服務。云計算不僅承載數據本身,同時也承載數據應用所需的計算資源。
云計算是“智能”與“智慧”的重要支撐。智慧有兩大支撐,即網絡與大數據。包括互聯網、移動互聯網、物聯網在內的各種網絡,負責搜集和共享數據;大數據作為“原材料”,是各類智慧應用的基礎。云計算是支撐網絡和大數據的平臺,所以,幾乎所有智慧應用都離不開云計算。
云計算是企業享受平等IT應用與創新環境的有力保障。當前,企業創新,特別是小微企業和創業企業的創新面臨IT技術和IT成本方面的壁壘。云計算的出現打破了這一壁壘,IT成為唾手可得的基礎性資源,企業無須把重點放在IT支撐與實現上,可以更加聚焦于擅長的領域進行創新,這對提升全行業的信息化水平以及激發創新創業熱情將起到至關重要的作用。
除了發揮基礎設施平臺的支撐作用外,2.0時代的云計算,特別是公共云計算對產業的影響將從量變到質變。我認為,公共云將全面重塑整個ICT生態,向下定義數據中心、IT設備,甚至是CPU等核心器件,向上定義軟件與應用,橫向承載數據與安全,縱向支撐人工智能的技術演進與應用創新。
對我國來說,發展云計算產業的戰略意義重大。我認為,云計算已不僅僅是“IT基礎設施”,它將像電網、移動通信網、互聯網、交通網絡一樣,成為“國家基礎設施”,全面服務國家多項重大戰略的實施與落地。
云計算是網絡強國建設的重要基石。發展云計算產業,有利于我國實現IT全產業鏈的自主可控,提高信息安全保障水平,并推動大數據、人工智能的發展。
云計算是提升國家治理能力的重要工具。隨著大數據、人工智能、物聯網等技術應用到智慧城市、智慧政務建設中,國家及各城市的治理水平和服務能力大幅提升,這背后,云計算平臺功不可沒。
云計算將全面推動國家產業轉型升級。云計算將支撐“中國制造2025”“互聯網+”戰略,全面推動“兩化”深度融合。同時,云計算也為創新創業提供了優質土壤,在“雙創”領域,云計算已真正成為基礎設施。
在DT時代,我認為計算及計算的能力是衡量一個國家科技實力和創新能力的重要標準。只有掌握計算能力,才具備全面支撐創新的基礎,才有能力挖掘數據的價值,才能在重塑ICT生態過程中掌握主導權。
接下來的幾年,云計算將成為全球科技和產業競爭的焦點。目前,我國的云計算產業具備和發達國家抗衡的能力,而我們對數據的認知、駕馭能力及對資源的利用開發和人力也是與發達國家等同的。因此,我們正處在一個“黃金窗口期”。
我一直認為,支撐技術進步和產業發展的最主要力量是人才,未來世界各國在云計算、大數據、AI等領域的競爭,在某種程度上會轉變為人才之爭。因此,加強專業人才培養將是推動云計算、大數據產業發展的重要抓手。
由于是新興產業,我國云計算、大數據領域的人才相對短缺。作為中國最大的云計算服務企業,阿里云希望能在云計算、大數據領域的人才培養方面做出努力,將我們在云計算、大數據領域的實踐經驗貢獻到高校的教育中,為高校的課程建設提供支持。
與傳統IT基礎技術理論相比,云計算和大數據更偏向應用,而這方面恰恰是阿里云的優勢。因此,我們與高校合作,優勢互補,將計算機科學的理論和阿里云的產業實踐融合起來,讓大家從實戰的角度認識、掌握云計算和大數據。
我們希望通過這套教材,把阿里云一些經過檢驗的經驗與成果分享給全社會,讓眾多計算機相關專業學生、技術開發者及所有對云計算、大數據感興趣的企業和個人,可以與我們一起推動中國云計算、大數據產業的健康快速發展!
胡曉明阿里云總裁
王宏志,博士,博士生導師,哈爾濱工業大學計算機科學與技術學院副教授,中國計算機學會高級會員,YOCSEF黑龍江省分論壇AC。2008年7月在哈爾濱工業大學計算機軟件與理論學科獲得博士學位,博士論文獲得“中國計算機學博士論文”和“哈爾濱工業大學博士論文”。研究方向包括XML數據管理、圖數據管理、數據質量、信息集成等。先后被評為“微軟學者”、“中國數據庫工程師”和“IBM博士英才”。曾先后擔任全國數據庫會議等多個學術會議的程序委員會委員和IEEE TKDE等多個重要國際期刊的審稿人。