本書介紹了數據網格——一種來自現代分布式架構的去中心化社會技術范式,它提供了一種大規模采購、共享、訪問和管理分析型數據的新方法。
本書分為五部分。
第1部分介紹Data Mesh的四個原則,以及它們所組成的高級模型。
第2部分比較Data Mesh與以前的數據架構的區別。
第3部分介紹Data Mesh組件的高層次架構,幫助你設計Data Mesh架構以及評估與Data Mesh匹配的現成技術。
第4部分介紹Data Mesh中的一個核心概念(數據產品)的詳細設計,幫助你識別與Data Mesh愿景兼容的設計技術,并將它們與不兼容的技術區分開來。
第5部分介紹如何演進式地執行Data Mesh的轉換,以及如何圍繞團隊結構、激勵、文化等做出組織設計決策的可行建議。
適讀人群 :數據分析從業者、架構師、技術領導者和決策者 我們正處于數據時代的拐點,當下的數據管理解決方案很難在應對組織的復雜性、數據源的激增等挑戰的同時,通過AI和分析從數據中獲取價值。本書從實踐出發介紹了Data Mesh,這是一種從現代分布式架構中提取的去中心化的社會技術范式,提供了一種大規模獲取、共享、訪問和管理分析型數據的新方法。
本書將帶領數據領域從業者、架構師、技術領導者和決策者,以大數據架構為起點,逐步落地分布式和多維度的分析型數據管理方法。Data Mesh將數據視為產品,將領域視為首要關注點,應用平臺思維創建自助數據基礎設施,并引入數據治理的聯合計算模型。
學完本書,你將能夠:
全面了解Data Mesh的原則及其具體內容。
設計Data Mesh架構。
指導Data Mesh策略和執行。
從組織設計轉向去中心化的數據所有權模型。
超越傳統的數據倉庫和數據湖,轉向分布式的Data Mesh。
我們正處于數據時代的拐點,當下的數據管理解決方案很難在應對組織的復雜性、數據源的激增等挑戰的同時,通過AI和分析從數據中獲取價值。本書從實踐出發介紹了Data Mesh,這是一種從現代分布式架構中提取的去中心化的社會技術范式,提供了一種大規模獲取、共享、訪問和管理分析型數據的新方法。
本書將帶領數據領域從業者、架構師、技術領導者和決策者,以大數據架構為起點,逐步落地分布式和多維度的分析型數據管理方法。Data Mesh將數據視為產品,將領域視為首要關注點,應用平臺思維創建自助數據基礎設施,并引入數據治理的聯邦計算模型。
學完本書,你將能夠:
*全面了解Data Mesh的原則及其具體內容。
*設計Data Mesh架構。
*指導Data Mesh戰略和執行。
*從組織設計轉向去中心化的數據所有權模型。
*超越傳統的數據倉庫和數據湖,轉向分布式的Data Mesh。
Nile Platform 聯合創始人兼CPO,Kafka: The Definitive Guide一書的作者
Zhamak Dehghani是Thoughtworks的技術總監。她專注于企業中的分布式系統和數據架構領域,是多個技術咨詢委員會的成員,包括Thoughtworks的技術委員會。
Zhamak倡導一切事物的去中心化,包括架構、數據等。她是Data Mesh的創始人。
引言 想象Data Mesh9
第一部分 什么是Data Mesh
第1章 Data Mesh概述23
1.1 成果23
1.2 轉變24
1.3 原則25
1.4 原則之間的相互作用28
1.5 Data Mesh概覽29
1.6 數據29
1.7 起源31
第2章 領域所有權原則33
2.1 領域驅動設計簡介34
2.2 把DDD戰略應用到數據35
2.3 領域數據類型37
2.4 過渡到領域所有權40
2.5 回顧43
第3章 數據即產品原則45
3.1 把產品思維應用到數據中46
3.2 過渡到數據即產品56
3.3 回顧59
第4章 自助數據平臺原則60
4.1 Data Mesh平臺:比較和對比61
4.2 Data Mesh平臺思維66
4.3 過渡到自助Data Mesh平臺72
4.4 回顧75
第5章 聯邦計算治理原則76
5.1 把系統思考應用到Data Mesh治理78
5.2 把聯邦應用到治理模型83
5.3 把計算應用到治理模型89
5.4 過渡到聯邦計算治理92
5.5 回顧94
第二部分 為什么需要Data Mesh
第6章 拐點99
6.1 數據的遠大期望100
6.2 數據的巨大鴻溝102
6.3 規模化:新的遭遇103
6.4 超越秩序104
6.5 到達回報的平臺期104
6.6 回顧105
第7章 拐點之后107
7.1 在復雜的業務中優雅地應對變化108
7.2 在增長的同時保持敏捷性112
7.3 提高數據對投資的價值比率115
7.4 回顧116
第8章 拐點之前119
8.1 分析型數據架構的演進119
8.2 分析型數據架構的特征123
8.3 回顧131
第三部分 如何設計Data Mesh架構
第9章 邏輯架構135
9.1 面向領域的分析型數據共享接口138
9.2 數據產品即架構量子140
9.3 多平面數據平臺148
9.4 嵌入式計算策略151
9.5 回顧154
第10章 多平面數據平臺架構157
10.1 設計一個由用戶旅程驅動的平臺159
10.2 數據產品開發者之旅160
10.3 數據產品消費者之旅168
10.4 回顧172
第四部分 如何設計數據產品架構
第11章 按可供性設計數據產品175
11.1 數據產品可供性176
11.2 數據產品架構特征178
11.3 受復雜適應性系統的簡單性影響的設計179
11.4 回顧181
第12章 設計數據的消費、轉換和服務182
12.1 提供數據182
12.2 消費數據195
12.3 轉換數據202
12.4 回顧206
第13章 設計數據的發現、理解和組合207
13.1 發現,理解,信任,探索207
13.2 組合數據215
13.3 回顧224
第14章 設計數據的管理、治理和觀測225
14.1 管理生命周期225
14.2 治理數據227
14.3 觀測,調試,審計231
14.4 回顧234
第五部分 如何開始
第15章 戰略和執行239
15.1 今天你應該采用Data Mesh嗎239
15.2 Data Mesh作為數據戰略的一部分242
15.3 Data Mesh執行框架245
15.4 回顧264
第16章 組織與文化265
16.1 變革267
16.2 文化268
16.3 獎勵271
16.4 結構273
16.5 人員283
16.6 流程287
16.7 回顧289