本書(shū)的整體行文是基于“說(shuō)些歷史、話(huà)些故事、聊些技術(shù)、談些思考”這樣的思路展開(kāi)的。全書(shū)共有13章,邏輯上分為四個(gè)部分:第一部分嘗試對(duì)“數(shù)覺(jué)→數(shù)→數(shù)據(jù)→大數(shù)據(jù)”歷史脈絡(luò)進(jìn)行梳理并陳述社會(huì)各界迎接和擁抱“大數(shù)據(jù)”的若干事實(shí);第二部分嘗試從技術(shù)實(shí)現(xiàn)和部署實(shí)施的角度厘清大數(shù)據(jù)技術(shù)流程,并從多個(gè)視角和層面闡述各個(gè)環(huán)節(jié)面臨的挑戰(zhàn)和機(jī)遇,重點(diǎn)敘述不同知識(shí)背景的研究群體針對(duì)大數(shù)據(jù)的態(tài)度、行動(dòng)和思維方式;第三部分嘗試從管理策略、價(jià)值實(shí)現(xiàn)及思維方式三個(gè)角度厘清大數(shù)據(jù)落地應(yīng)用涉及的技術(shù)和非技術(shù)問(wèn)題,并從多個(gè)視角和層面梳理各個(gè)環(huán)節(jié)的要點(diǎn)和細(xì)則;第四部分在對(duì)互聯(lián)網(wǎng)的技術(shù)發(fā)展脈絡(luò)及國(guó)際經(jīng)濟(jì)形勢(shì)進(jìn)行梳理的基礎(chǔ)上,分析了在“互聯(lián)網(wǎng)+”概念被熱炒及全民總動(dòng)員的當(dāng)代大數(shù)據(jù)的潛在發(fā)展機(jī)遇和應(yīng)用場(chǎng)景。
序
第一篇現(xiàn)象及感性思辨
第1章大數(shù)據(jù)溯源3
1.1引言3
1.2數(shù)覺(jué)及數(shù)的起源7
1.3模擬與數(shù)字計(jì)算10
1.4從數(shù)據(jù)到大數(shù)據(jù)15
1.5大數(shù)據(jù)時(shí)代19
1.6本章小結(jié)23
本章參考文獻(xiàn)23
第2章大數(shù)據(jù)現(xiàn)象25
2.1引言25
2.2政界大數(shù)據(jù)28
2.3業(yè)界大數(shù)據(jù)33
2.4學(xué)界大數(shù)據(jù)39
2.5本章小結(jié)44
本章參考文獻(xiàn)45
第3章大數(shù)據(jù)產(chǎn)業(yè)46
3.1引言46
3.2大數(shù)據(jù)產(chǎn)業(yè)環(huán)境49
3.2.1政策環(huán)境49
3.2.2應(yīng)用環(huán)境51
3.2.3技術(shù)環(huán)境52
3.3大數(shù)據(jù)產(chǎn)業(yè)地圖53
3.3.1大數(shù)據(jù)產(chǎn)業(yè)地圖由來(lái)53
3.3.2大數(shù)據(jù)產(chǎn)業(yè)地圖明細(xì)54
3.3.3大數(shù)據(jù)產(chǎn)業(yè)地圖意義61
3.4大數(shù)據(jù)應(yīng)用提示62
3.4.1大數(shù)據(jù)中文解析及提示62
3.4.2大數(shù)據(jù)應(yīng)用場(chǎng)景及策略64
3.4.3大數(shù)據(jù)陷阱及應(yīng)用提示65
3.5本章小結(jié)67
本章參考文獻(xiàn)68
第二篇技術(shù)及選型思路
第4章大數(shù)據(jù)支撐技術(shù)71
4.1引言71
4.2大數(shù)據(jù)流程73
4.2.1顯式挑戰(zhàn)74
4.2.2隱式困難76
4.2.3評(píng)估思路78
4.3基礎(chǔ)支撐技術(shù)78
4.3.1數(shù)據(jù)采集79
4.3.2數(shù)據(jù)存儲(chǔ)81
4.3.3數(shù)據(jù)建模82
4.3.4計(jì)算架構(gòu)85
4.4高級(jí)支撐技術(shù)90
4.4.1云計(jì)算背景90
4.4.2云計(jì)算定義91
4.4.3云計(jì)算本質(zhì)93
4.4.4應(yīng)用提示96
4.5本章小結(jié)97
本章參考文獻(xiàn)98
第5章數(shù)據(jù)采集與整合99
5.1引言99
5.2大數(shù)據(jù)的數(shù)據(jù)源101
5.2.1數(shù)據(jù)分布101
5.2.2內(nèi)部數(shù)據(jù)103
5.2.3互聯(lián)網(wǎng)數(shù)據(jù)105
5.2.4應(yīng)用提示105
5.3內(nèi)部數(shù)據(jù)及內(nèi)部數(shù)據(jù)采集106
5.3.1目標(biāo)任務(wù)106
5.3.2關(guān)鍵技術(shù)107
5.3.3ETL工具110
5.3.4應(yīng)用提示111
5.4互聯(lián)網(wǎng)數(shù)據(jù)及互聯(lián)網(wǎng)數(shù)據(jù)采集113
5.4.1目標(biāo)任務(wù)113
5.4.2關(guān)鍵技術(shù)114
5.4.3開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)118
5.4.4應(yīng)用提示120
5.5本章小結(jié)121
本章參考文獻(xiàn)123
第6章數(shù)據(jù)存儲(chǔ)與管理124
6.1引言124
6.2數(shù)據(jù)組織127
6.2.1集中與分布128
6.2.2SQL與NoSQL130
6.3數(shù)據(jù)存儲(chǔ)138
6.4云存儲(chǔ)141
6.5本章小結(jié)144
本章參考文獻(xiàn)145
第7章數(shù)據(jù)表示與理解146
7.1引言146
7.2度量方法149
7.2.1相似系數(shù)函數(shù)150
7.2.2距離函數(shù)152
7.3數(shù)據(jù)規(guī)范154
7.4特征工程155
7.4.1特征表示156
7.4.2特征提取156
7.4.3特征選擇175
7.5應(yīng)用提示178
7.6本章小結(jié)181
本章參考文獻(xiàn)181
第8章數(shù)據(jù)理解與建模183
8.1引言183
8.2機(jī)器學(xué)習(xí)185
8.3非監(jiān)督學(xué)習(xí)187
8.3.1KMeans188
8.3.2EM189
8.4監(jiān)督學(xué)習(xí)192
8.4.1回歸192
8.4.2分類(lèi)196
8.5本章小結(jié)226
本章參考文獻(xiàn)227
第9章知識(shí)發(fā)現(xiàn)與應(yīng)用229
9.1引言229
9.2從機(jī)器學(xué)習(xí)到數(shù)據(jù)挖掘233
9.2.1統(tǒng)計(jì)與統(tǒng)計(jì)學(xué)234
9.2.2智能與人工智能235
9.2.3人工智能與機(jī)器學(xué)習(xí)237
9.2.4數(shù)據(jù)挖掘及技術(shù)路徑239
9.2.5應(yīng)用提示245
9.3從數(shù)據(jù)挖掘到數(shù)據(jù)科學(xué)246
9.3.1從“驚奇”引發(fā)的科學(xué)之母246
9.3.2從“科學(xué)”引發(fā)的研究范式249
9.3.3從“數(shù)據(jù)”引發(fā)的數(shù)據(jù)科學(xué)251
9.4從算法到大數(shù)據(jù)方法論252
9.4.1演繹與歸納252
9.4.2因果與相關(guān)255
9.4.3定律與模型257
9.5本章小結(jié)260
本章參考文獻(xiàn)260
第三篇實(shí)施及理性思考
第10章大數(shù)據(jù)實(shí)施265
10.1引言265
10.2工程管理267
10.2.1思維層的應(yīng)用模式梳理267
10.2.2開(kāi)發(fā)層的工程實(shí)施路徑270
10.2.3運(yùn)維層的平臺(tái)應(yīng)用保障273
10.3技術(shù)管理274
10.3.1生產(chǎn)流程管理274
10.3.2技術(shù)流程管理277
10.3.3知識(shí)流程管理279
10.4商務(wù)管理282
10.4.1商業(yè)模式價(jià)值邏輯282
10.4.2大數(shù)據(jù)與商業(yè)模式283
10.4.3典型商業(yè)模式示例287
10.5本章小結(jié)290
本章參考文獻(xiàn)291
第11章大數(shù)據(jù)價(jià)值292
11.1引言292
11.2從數(shù)據(jù)到價(jià)值294
11.2.1數(shù)據(jù)的價(jià)值295
11.2.2信息的價(jià)值297
11.2.3知識(shí)的價(jià)值299
11.2.4應(yīng)用提示300
11.3從閉環(huán)到開(kāi)環(huán)302
11.3.1垂直應(yīng)用價(jià)值302
11.3.2平臺(tái)集成價(jià)值303
11.3.3生態(tài)協(xié)同價(jià)值305
11.3.4應(yīng)用提示305
11.4大數(shù)據(jù)評(píng)估306
11.4.1數(shù)據(jù)價(jià)值評(píng)估306
11.4.2數(shù)據(jù)質(zhì)量評(píng)估310
11.4.3平臺(tái)價(jià)值評(píng)估312
11.4.4應(yīng)用提示315
11.5本章小結(jié)321
本章參考文獻(xiàn)322
第12章大數(shù)據(jù)思維323
12.1引言323
12.2數(shù)據(jù)層325
12.2.1數(shù)據(jù)全采樣325
12.2.2數(shù)據(jù)交叉復(fù)用327
12.2.3數(shù)據(jù)云化存儲(chǔ)328
12.3分析層330
12.3.1相關(guān)重于因果330
12.3.2效率重于精度332
12.3.3離線(xiàn)分析+實(shí)時(shí)運(yùn)行334
12.4應(yīng)用層336
12.4.1數(shù)據(jù)質(zhì)量溯源336
12.4.2服務(wù)和應(yīng)用340
12.4.3開(kāi)放和合作342
12.5本章小結(jié)345
本章參考文獻(xiàn)347
第四篇機(jī)遇及應(yīng)用思索
第13章大數(shù)據(jù)機(jī)遇351
13.1引言351
13.2互聯(lián)網(wǎng)+356
13.3電子商務(wù)359
13.3.1電子商務(wù)概述359
13.3.2移動(dòng)電子商務(wù)362
13.3.3跨境電子商務(wù)363
13.3.4應(yīng)用提示365
13.4工業(yè)互聯(lián)網(wǎng)368
13.4.1基本概念368
13.4.2笑臉曲線(xiàn)368
13.4.3工業(yè)4.0371
13.4.4應(yīng)用提示376
13.5互聯(lián)網(wǎng)金融380
13.5.1基本概念380
13.5.2面向投融資的互聯(lián)網(wǎng)金融381
13.5.3面向支付的互聯(lián)網(wǎng)金融384
13.5.4其他類(lèi)型的互聯(lián)網(wǎng)金融387
13.5.5應(yīng)用提示390
13.6本章小結(jié)392
本章參考文獻(xiàn)394
跋395