本書詳細介紹了大數據技術的基礎理論和*新主流前沿技術，全書共分為10章，分別介紹我們目前面臨的數字化信息社會的大數據時代、大數據技術基本概念、云計算網絡、大數據采集與預處理、大數據存儲、計算模式與處理系統、查詢顯示與交互、大數據分析與數據挖掘、隱私與安全、大數據技術發展前景，同時包括行業案例研究(銀行、保險、證券、金融行業)，典型系統與相關大數據分析實例。
本書主要作為高等院校計算機專業、信息管理專業、經濟類專業、管理類專業相關本科生和研究生專業基礎課的教材，也可以作為干部培訓、職業技術教育以及職業培訓機構的云計算與大數據分析技術的專業訓練教材。對從事云計算與大數據分析工作的財政金融、政府管理、計算機網絡、軟件工程的方面的管理與工程技術人員也有學習參考價值。
1. 大數據技術是近年來計算機技術發展的前沿技術領域，2015年9月，國務院印發《促進大數據發展行動綱要》，系統部署大數據發展工作。國內外都很關注這一技術的發展。本書反映了大數據分析方面的基礎理論和*新主流技術。
2. 目前國內圖書市場上開始出現一些大數據相關技術書籍，主要可歸類為以下幾類：（1）外文資料翻譯書籍（2）科普類（3）計算機技術類（4）財金管理應用類。上述相關書籍專業性或過深、或過淺，均不十分適合高校專業課程的教學要求。《大數據技術及應用簡明教程》一書深淺程度適合大學生知識水平，較適合作為高等學校計算機類、經濟管理類學生的專業教材。
3. 《大數據技術及應用簡明教程》一書淺顯易懂，案例豐富，教學輔助材料豐富，方便高校教師直接用于教學過程準備及課堂教學。
本書試圖在介紹大數據技術的理論基礎上對大數據分析最新前沿技術做全面詳細介紹，給出實際案例及行業解決方案，達到技術全面、案例教學及工程實用的目的。
本書主要分為4個部分，共10章，分別按大數據的技術架構分層次詳細講述涉及大數據分析系統的各類相關技術：
第一部分大數據基礎知識， 簡單介紹我們目前面臨的數字化時代與信息社會的狀況，大數據的定義和特點、大數據技術基礎、大數據的社會價值、大數據的商業應用、大數據的基礎架構、云計算網絡的技術層次、典型的云計算網絡平臺，包括第1章“大數據技術基本概念”和第2章“基礎架構——云計算網絡”；
第二部分大數據理論與技術，介紹涉及大數據分析的基本理論與技術基礎，按照技術層次分別介紹大數據采集與預處理、大數據存儲、大數據計算模式與處理系統、大數據查詢、顯示與交互、大數據分析與數據挖掘、大數據隱私與安全，包括第3章到第8章的內容；
第三部分為行業案例研究，以銀行、保險、證券、金融行業為例，介紹涉及大數據分析的理論與技術方法在具體行業中的應用，包括第9章“行業案例研究”；
第四部分大數據技術發展前景，介紹大數據引發的新一代信息技術變革浪潮、大數據各個過程的最新技術與發展前景，包括第10章大數據技術發展前景。
本書主要作為高等院校計算機專業、信息管理與信息系統專業、經濟類專業、管理類專業相關專業本科生和研究生專業基礎課的教材，安排課時為48課時（3學分）。如課時縮減，可在概要敘述第一部分的基礎上，主要講解第二部分第3章到第8章的內容，并安排學生在課外自主閱讀每章節后的案例及第9章“行業案例研究”。第10章“大數據技術發展前景”僅作參考性講解。
本書的特點是緊扣實踐應用需求，全面講述講云計算與大數據分析實用技術，提供了大量的實際案例、數據分析適用技術。內容新穎、用表格和結構圖直觀描述知識并力圖反映最新主流技術。
每一章在講解相關理論外，還講解了最新前沿技術。各章都附有案例、習題以幫助讀者學習理解和實際工程應用。為方便教師教學，附有全套教學PPT課件、教學大綱、教學計劃以便教師使用。
本書由李聯寧教授編著，在本書編寫過程中，編者參考了國內外大量的云計算網絡與大數據分析技術的書刊及文獻資料，主要參考書籍及研究論文在書后“參考文獻”中列出。但由于大量來自網絡的資料未能詳盡標注作者及文獻資料來源，疏漏之處在所難免，在此一并對書刊文獻、科技論文的作者表示感謝。如有遺漏，懇請相應書刊文獻作者及時告知，將在書籍再版時列入。如發現本書有錯誤或不妥之處，懇請廣大讀者不吝賜教。
李聯寧，40年涉外企業、政府經濟管理部門、高等學校工作經驗，曾歷任大型軟件公司總工程師、外資企業總經理、高等學校教授，主要研究領域為計算機網絡、物聯網、信息管理系統、商業大數據分析。最近5年在清華大學出版社出版網絡工程、物聯網技術、網絡安全、信息管理與信息系統等方面高等學校教材6本，其中物聯網方面教材在全國18所高校使用，獲2016年高等學校優秀教材一等獎。
第1章大數據技術基本概念31.1數據3
1.1.1數據的單位4
1.1.2數據與信息的關系 4
1.1.3數據的分類 4
1.2信息6
1.2.1信息的定義6
1.2.2信息資源7
1.2.3信息的應用意義8
1.3大數據9
1.3.1大數據發展歷史9
1.3.2大數據的定義和特點10
1.4大數據技術的基本概念15
1.4.1傳統數據處理15
1.4.2大數據分析的方法理論16
1.4.3大數據技術17
1.5大數據的社會價值21
1.5.1大數據的社會價值體現21
1.5.2大數據在政府管理方面的應用22
1.5.3大數據在公共服務領域的應用23
1.6大數據的商業應用24
1.6.1商業大數據的類型和價值挖掘方法24
1.6.2全球大數據市場結構26
1.6.3中國大數據市場26
1.6.4大數據給中國帶來的十大商業應用場景27
1.7大數據與商業模式創新32
1.7.1商業模式的創新特點32
1.7.2商業模式創新可以為企業帶來什么32
1.7.3基于大數據分析的商業模式創新33
1.8如何成為“大數據企業”35
1.8.1駕馭企業外部大數據35
1.8.2成為“大數據企業”36
1.8.3如何挖掘企業大數據的價值37
1.8.4大數據實質上是一種管理思維38
1.9大數據應用案例之: 男女嘉賓《非誠勿擾》牽手數據分析39
習題與思考題42
大數據技術及應用教程目錄第二部分大數據技術
第2章基礎架構——云計算平臺472.1大數據處理的基礎架構47
2.2云計算網絡47
2.2.1云計算簡介48
2.2.2云計算系統的體系結構50
2.2.3云計算服務層次55
2.2.4云計算技術層次57
2.2.5云計算的核心技術58
2.2.6典型云計算平臺59
2.2.7典型的云計算系統及應用64
2.2.8大數據平臺的應用67
2.3大數據應用案例之: 在“北上廣”打拼是怎樣一種體驗69
習題與思考題72第3章大數據采集與預處理74
3.1大數據采集概念74
3.2數據采集來源75
3.3大數據采集方法76
3.3.1大數據數據采集方面新方法76
3.3.2網頁數據采集方法76
3.3.3Web信息數據自動采集79
3.4導入/預處理82
3.4.1大數據導入/預處理的過程 82
3.4.2數據清洗84
3.4.3數據采集(ETL)技術86
3.4.4基于大數據的數據預處理88
3.4.5數據處理的基本流程與關鍵技術90
3.5數據集成91
3.5.1數據集成的概念91
3.5.2數據集成面臨問題92
3.6數據變換92
3.6.1異構數據交換綜述93
3.6.2異構數據分析94
3.6.3異構數據交換方式97
3.6.4異構數據交換技術99
3.6.5異構數據交換與集成的研究方向103
3.7大數據應用案例之: 互聯網行業哪個職位比較有前途103
習題與思考題107第4章大數據存儲110
4.1傳統數據存儲110
4.1.1傳統數據存儲介質110
4.1.2存儲的模式112
4.2海量數據存儲的需求113
4.3分布式存儲系統117
4.3.1分布式存儲系統117
4.3.2典型系統118
4.4云存儲120
4.5數據庫123
4.5.1數據庫分類123
4.5.2常規SQL結構化關系數據庫124
4.5.3NoSQL非結構化數據庫124
4.5.4NoSQL技術126
4.5.5大規模并行分析數據庫129
4.6數據倉庫131
4.6.1數據倉庫的概念131
4.6.2數據倉庫技術發展133
4.6.3數據倉庫原理及構成133
4.6.4數據倉庫的基本架構136
4.6.5數據倉庫的數據存儲136
4.6.6數據倉庫的數據應用137
4.6.7元數據管理138
4.7大數據應用案例之: 一場霧霾將損失多少GDP 138
習題與思考題141
第5章大數據計算模式與處理系統143
5.1數據計算143
5.1.1離線批處理143
5.1.2實時交互計算145
5.1.3海量數據實時計算145
5.1.4流計算146
5.2聚類算法147
5.2.1聚類算法的分類147
5.2.2數據分類與聚類147
5.3數據集成148
5.3.1數據集成概述149
5.3.2數據集成方案155
5.3.3企業數據集成應用形式157
5.3.4企業整體解決方案160
5.4機器學習161
5.4.1機器學習的定義和例子162
5.4.2機器學習的范圍164
5.4.3機器學習的方法165
5.4.4機器學習的應用——大數據170
5.4.5機器學習的子類——深度學習172
5.4.6機器學習的父類——人工智能174
5.5數據處理語言175
5.5.1數據分析語言R175
5.5.2大數據開發語言Python177
5.6大數據應用案例之: 北京的人流在哪兒？用大數據看城市179
習題與思考題183第6章大數據查詢、顯現與交互185
6.1數據的查詢185
6.1.1常規數據庫查詢結構化數據185
6.1.2大數據時代的數據搜索186
6.1.3數據庫與信息檢索技術的比較188
6.1.4數據庫技術面臨的Web數據管理問題 189
6.2網絡數據索引與查詢技術192
6.2.1搜索引擎技術概述192
6.2.2Web搜索引擎工作原理192
6.3大數據索引與查詢技術200
6.3.1大數據索引和查詢200
6.3.2大數據處理案例: 登機牌、閱卷與MapReduce201
6.4相似性搜索工具206
6.5數據展現與交互209
6.6數據可視化210
6.6.1數據可視化概念210
6.6.2數據可視化定義與方法211
6.6.3數據可視化分析216
6.6.4個性化精準推薦217
6.6.5預測和預警217
6.6.6決策分析219
6.7知識圖譜220
6.7.1知識圖譜的概念221
6.7.2知識圖譜的表示221
6.7.3知識圖譜的存儲222
6.7.4知識圖譜的應用223
6.8大數據應用案例之: 數據告訴你，上海的房子都被
誰買走了229
習題與思考題233第7章大數據分析與數據挖掘235
7.1大數據的分析及應用235
7.1.1數據處理和分析的發展235
7.1.2大數據分析面對的數據類型236
7.1.3大數據分析與處理方法237
7.1.4數據分析的步驟237
7.1.5大數據分析應用240
7.2數據挖掘技術242
7.2.1數據挖掘的定義242
7.2.2數據挖掘的常用方法244
7.2.3數據挖掘的功能 245
7.2.4數據挖掘技術 246
7.2.5數據挖掘的流程248
7.2.6數據挖掘的應用250
7.2.7“大數據自動挖掘”才是大數據的真正意義251
7.3商業智能與數據分析252
7.3.1商業智能技術輔助決策的發展252
7.3.2商業智能系統架構253
7.3.3商業智能的技術體系253
7.3.4商務智能=數據+分析+決策+利益254
7.4電商大數據分析技術257
7.4.1移動互聯網應用數據分析基礎257
7.4.2用戶規模和質量258
7.4.3參與度分析259
7.4.4渠道分析260
7.4.5功能分析261
7.4.6用戶屬性分析262
7.5大數據營銷業務模型263
7.5.1大數據對業務模式的影響263
7.5.2大數據時代的網絡化精確營銷264
7.5.3移動互聯和大數據時代的電子商務265
7.5.4大數據營銷的定義與特點266
7.5.5網絡營銷大數據實際操作268
7.5.6數據營銷方法論270
7.6基于社會媒體的分析預測技術273
7.6.1基于空間大數據的社會感知273
7.6.2基于社會媒體的預測技術278
7.6.3基于消費意圖挖掘的預測279
7.6.4基于事件抽取的預測282
7.6.5基于因果分析的預測282
7.7大數據應用案例之: 如何用大數據看風水？以星巴克和海底撈的
選址為例286
習題與思考題287第8章大數據隱私與安全290
8.1大數據面臨的問題290
8.1.1大數據面臨的安全問題290
8.1.2使用大數據分析安全與隱私的問題295
8.2大數據安全與隱私保護關鍵技術296
8.2.1基于大數據的威脅發現技術296
8.2.2基于大數據的認證技術297
8.2.3基于大數據的數據真實性分析298
8.2.4大數據與“安全即服務”298
8.3大數據安全的防護策略298
8.4大數據應用案例之: 電影《爸爸去哪兒》大賣有前兆么？300
習題與思考題305
第三部分大數據分析案例
第9章行業案例研究——銀行、保險、證券、金融行業309
9.1銀行業應用309
9.1.1大數據時代: 銀行如何玩轉數據挖掘309
9.1.2工商銀行客戶關系管理案例311
9.1.3銀行風險管理314
9.2保險業應用318
9.2.1保險產業擁抱“大數據時代” 或帶來顛覆性變革318
9.2.2保險欺詐識別320
9.3證券期貨應用322
9.3.1安徽使用大數據監管證券期貨322
9.3.2“大數據”分析挖出基金“老鼠倉”的啟示323
9.4金融行業應用324
9.4.1汽車金融公司怎么實現大數據管理324
9.4.2大數據決定互聯網金融未來326
9.4.3移動大數據在互聯網金融反欺詐領域的應用329
9.5大數據應用案例之: 大吃一驚！大數據下的中國原來是這樣的331
第四部分大數據技術現狀及發展展望
第10章大數據技術發展前景339
10.1大數據引發新一代信息技術變革浪潮339
10.2大數據采集與預處理技術發展前景341
10.3大數據存儲與管理技術發展前景342
10.4大數據計算模式與系統技術發展前景347
10.5大數據分析與挖掘技術發展前景351
10.6大數據可視化分析技術發展前景353
10.7大數據隱私與安全技術發展前景357
10.8大數據應用案例之: 數據解讀城市: 北京本地人VS外地人360參考文獻366
新書資訊