本書從大數據發展現狀出發，在人類DIKW知識層次中認識“數據”，闡述大數據時代以數據為中心的必然性，進而提出數據管理的新范式，即以系統科學及開放復雜巨系統為主要特征的范式，并論述數據管理正在向新范式轉換；為解決數據系統中眾多管理問題，從數據語義出發給出數據分布模型概念，并論述其是大數據時代數據管理的核心與基礎；定義了一種數據分布模型——MHM；另外，本書還涉及數據管理的幾個主要方面，包括數據一致性、事務處理、訪問控制、擴展性等，實驗表明MHM在性能、可靠性方面的優勢，同時討論MHM潛在的適用范圍。
目錄
前言
第1章 導論 1
1.1 數據管理面臨著一場科學革命 1
1.2 社會數據管理 3
1.3 數據分布模型 7
1.4 本書的組織結構 9
第一篇 大數據時代的數據管理
第2章 數據管理的現狀 13
2.1 云計算及云數據管理 13
2.2 大數據簡介 16
2.3 大數據的社會影響 18
2.4 大數據的困境及思考 20
第3章 數據在DIKW體系中的地位 23
3.1 信息 23
3.2 數據 24
3.3 信息與數據的關系 26
3.3.1 誰是第一性 26
3.3.2 在認識論中把握信息與數據 27
3.3.3 信息第一性的意義 30
3.4 知識 31
3.5 智慧 32
3.6 轉識成智 35
3.7 認識數據、信息、知識、智慧、道德關系的意義 37
第4章 以教據為中心組織計算 40
4.1 不同類型數據的關系 40
4.1.1 數據質量 40
4.1.2 結構化、非結構化、半結構化數據 40
4.1.3 三類數據的層次關系 41
4.2 Hadoop與大數據處理 43
4.3 Hadoop與數據管理 44
4.4 以數據為中心的必然性 46
第5章 數據管理的新范式 49
5.1 數據管理的科學革命 49
5.2 數據管理的范式轉變 53
5.2.1 庫恩范式與格雷范式 53
5.2.2 數據管理新范式——系統科學范式 55
5.2.3 開放的復雜巨系統 58
5.2.4 數據管理的再認識 60
5.3 數據管理技術的調整與變更 62
5.3.1 本地封閉世界假設 63
5.3.2 數據的最終一致性 64
5.3.3 CAP與BASE 66
5.3.4 事務 67
5.4 系統科學范式下的數據組織與控制 73
5.4.1 數據的組織結構與數據模型 73
5.4.2 多根樹 74
5.4.3 基于多根樹的數據組織 75
5.4.4 基于多根樹的數據控制 77
第二篇 數據模型與數據分布模型
第6章 大數據時代的數據模型 85
6.1 常用的數據模型 85
6.1.1 層次模型 85
6.1.2 網狀模型 86
6.1.3 關系模型 86
6.1.4 半結構化數據模型與XML 87
6.1.5 面向對象的數據模型 88
6.2 典型應用 89
6.2.1 數據倉庫 89
6.2.2 DNS數據庫 89
6.2.3 幾個大規模數據存儲管理系統 91
6.2.4 key value存儲 95
6.2.5 大數據數據模型 100
6.3 ER模型及其表達能力 101
6.4 影響數據模型選擇的因素 103
第7章 數據分布 106
7.1 數據分布的單位 106
7.1.1 數據分布以文件為單位 106
7.1.2 數據分布以片段為單位 106
7.1.3 數據分布以key-value對為單位 107
7.2 數據分布面臨的挑戰 107
7.3 依賴于數據分布的管理方面 110
7.3.1 查詢處理 110
7.3.2 數據一致性、事務的實現 111
7.3.3 安全訪問控制 111
7.3.4 擴展性 111
7.3.5 并行處理 112
7.3.6 可用性 112
7.3.7 其他 112
第8章 數據分布模型 113
8.1 沒有數據分布模型的困難 113
8.1.1 系統通用性變差 113
8.1.2 應用系統開發效率低下 114
8.1.3 跨系統管理困難 114
8.1.4 系統進化困難 115
8.1.5 大數據管理系統難以落地 116
8.2 構建數據分布模型的可能性 116
8.2.1 數據分布模型特點 116
8.2.2 ER模型是數據模型的概念基礎 ll7
8.2.3 現實世界是分布式存在、層次管理的 ll8
8.2.4 復雜信息管理系統的核心與基礎 119
8.2.5 社會發展的必然結果 120
8.3 數據分布模型要考慮的因素 121
8.3.1 性能 121
8.3.2 多種因素的平衡 122
8.3.3 數據的語義 124
8.3.4 系統學的基本原理 125
8.3.5 可變性 127
8.3.6 簡單性 128
8.3.7 定性與定量的統一 129
第三篇 多根層次數據分布模型MHM
第9章 MHM的提出 133
9.1 基于多根樹的MHM 133
9.2 從圖到多根樹 l35
9.2.1 數據圖中的菱形與回路 135
9.2.2 模式圖與數據圖之間的關系 l36
9.2.3 將數據圖近似成多根樹 137
9.3 祖先完整性與控制完整性 l38
9.3.1 祖先完整性 138
9.3.2 控制完整性 138
9.3.3 祖先完整性與控制完整性的現實意義 140
9.4 多根樹的操作及現實意義 141
9.4.1 并 141
9.4.2 差 143
9.4.3 交 144
9.4.4 縮窄 144
9.4.5 融合 147
9.4.6 提取 148
9.4.7 基線 150
第10章 MHM與數據分布 154
10.1 MHM作為數據分布模型 l54
10.1.1 控制節點選取的原則 154
10.1.2 與其他數據模型的區別 l55
10.2 基于MHM的數據分布例子 156
10.3 基于非關系數據模型的MHM l59
10.3.1 基于XML的MHM 159
10.3.2 基于層次數據模型的MHM 159
10.3.3 基于網狀數據模型的MHM 159
10.3.4 基于key value的MHM 160
第11章 MHM與系統科學范式 161
11.1 MHM與系統科學原理 161
11.1.1 MHM的整體性 161
11.1.2 MHM的層次性 162
11.1.3 MHM的開放性 163
11.1.4 MHM的目的性 163
11.1.5 MHM的突變性 164
11.1.6 MHM的穩定性 l65
11.1.7 MHM的自組織性 165
11.1.8 MHM的相似性 l65
11.2 MHM與系統論規律 166
11.2.1 MHM與結構功能相關律 l66
11.2.2 MHM與信息反饋律 166
11.2.3 MHM與競爭協同律 167
11.2.4 MHM與漲落有序律 167
11.2.5 MHM與優化演化律 167
第四篇 基于MHM的數據管理
第12章 基于MHM的數據一致性 171
12.1 數據一致性與數據溯源 171
12.2 物理時間戳與邏輯時間戳 174
12.3 基于模糊物理時間戳的多版本 175
12.4 引用數據的復制 177
12.4.1 引用數據的異步復制 177
12.4.2 引用數據復制與完整性約束 178
12.4.3 幾點說明 l79
第13章 基于MHM的事務處理 182
13.1 基于本地封閉式世界假設的事務模型 l82
13.2 數據最終一致性對事務的支持 184
13.3 基于MHM的事務的隔離性級別 l87
13.4 不一致性與隔離性級別 189
13.5 事務提交與撤銷 190
第14章 MHM可用性 192
14.1 跨層訪問 192
14.2 多根樹復制 193
14.2.1 多根樹復制 193
14.2.2 多根樹緩存 194
14.3 副本更新 195
第15章 基于MHM的訪問控制 197
15.1 大規模分布式系統的訪問控制 197
15.2 用戶＆區域 198
15.3 基于數據域的訪問控制模型 201
15.4 基于MHM訪問控制示例 202
15.4.1 在TPGC中應用 202
15.4.2 —個實際項目中的應用 204
第16章 MHM擴展性 206
16.1 擴展性與性能 206
16.2 擴展性與效率 209
16.3 MHM的擴展性 210
16.3.1 擴展的實現 210
16.3.2 基于MHM的TPC C擴展性 212
第17章 MHM的性能實驗及適用范圍 214
17.1 TPC C應用例子 214
17.1.1 基于MHM的性能實驗環境 214
17.1.2 TPGC實驗結果 216
17.1.3 實驗結果分析 218
17.2 MHM適用范圍 218
17.2.1 數據倉庫 218
17.2.2 電商數據庫 220
17.2.3 社交網絡數據庫 22l
17.2.4 無線傳感器網絡數據庫 223
17.2.5 移動數據庫 224
17.2.6 GIS數據庫 225
參考文獻 226
插圖目錄
圖4.1 數據金字塔 42
圖5.1 數據系統示例 64
圖5.2 多根樹例子 74
圖5.3 買家賣家模式圖 76
圖5.4 單根控制 78
圖5.5 多根獨立控制 79
圖5.6 買家多根主輔控制 80
圖5.7 賣家多根主輔控制 80
圖5.8 聯合控制 81
圖6.1 ER圖中的時間 103
圖9.1 子結構特征 135
圖9.2 Empi是個孤立點 139
圖9.3 多根樹：并、交、差 142
圖9.4 縮窄 146
圖9.5 融合 147
圖9.6 多根樹提取 149
圖9.7 基線 152
圖10.1 TPGC模式 157
圖10.2 服務器間架構 157
圖12.1 模糊時間戳 177
圖13.1 模糊時間戳與事務一致性 186
圖14.1 跨層訪問 192
圖14.2 透明訪問 193
圖15.1 服務器&區域 199
圖15.2 TPC C架構例子 203
圖15.3 權限管理實例 205
圖16.1 TPGC擴展 213
圖17.1 性能實驗環境 215
圖17.2 最大的TPM 217
圖17.3 24節點不同并行活動的TPM 217
表格目錄
表13.1 隔離性級別 190
表15.1 各區域中的用戶 204
新書資訊