在數字中國這一國家戰略的牽引下,數據要素和數字化轉型的研究和落地如火如荼。數據中臺是企業開展數據要素相關實踐和數字化轉型的關鍵基礎設施,本書在這樣的時代背景下,以幫助企業管好數據、用好數據為宗旨,內容圍繞數據中臺架構與建設方法論、數據中臺建設流程和內容、數據中臺工程化交付、數據中臺行業解決方案4個維度全面、深度展開。
本書一共17章,邏輯上分為四個部分:
第1部分 數據中臺建設方法與架構設計(第1~3章)
首先,從產生、定義、認知、相關概念、建設方法論、架構等方面對數據中臺進行了全面介紹,幫助讀者建立對數據中臺的清晰認識和理解,熟悉數據中臺的建設機制;然后,總結了企業數據應用成熟度評估、數據中臺在各個行業的應用場景,以及數據中臺的成功要素。
第2部分 數據中臺建設內容與運營方法(第4~10章)
深入講解了數據中臺的核心模塊,包括數據匯聚、數據開發、數據體系建設、數據資產管理、數據應用體系建設、數據中臺運營機制、數據安全管理等,不僅介紹了如何實現一個數據中臺,還介紹了數據中臺的運營方法與經驗。
第3部分 數據中臺工程化交付體系(第11章)
首先介紹了數據中臺工程化交付體系的概念,然后從交付團隊、交付內容、交付環節任務、交付實施思路四個方面詳細講解了數據中臺工程化交付框架的內容和結構,最后提出數據中臺的交付是一個可持續演進的過程。
第4部分 數據中臺行業解決方案與案例(第12~17章)
結合政務、制造、汽車、地產、零售、醫藥等6個行業的數據中臺實踐案例,從項目背景、項目需求、項目實施、項目價值四個維度講解了數據中臺的建設思路、實施過程與運營方法。
本書內容是數瀾科技7年來為1000余家大中型政企機構提供數據基礎設施服務的經驗總結,第1版累計銷量超過10萬冊,好評率超過99%,第2版更新和新增的篇幅超過60%。
(1)作者背景權威:中國數據中臺領先服務商數瀾科技出品,由兩位聯合創始人和首席科學家領銜撰寫。
(2)作者經驗豐富:數瀾科技7年來為1000余家大中型政企客戶提供數據基礎設施方面的服務,本書是他們實踐經驗的總結。
(3)暢銷書大升級:第1版累計印刷16次,銷量超過100000冊,第2版更新和新增的內容超過60%。
(4)四個維度展開:圍繞數據中臺的建設方法與架構設計、建設內容與運營方法、工程化交付體系、行業解決方案與案例4個維度全面、深度展開。
(5)數據中臺標準實踐指南:本書第1版兩網評論近40000條,好評率超過99.9%,是數據中臺領域公認的標準性著作。
(6)數據要素與數字化轉型:圍繞數字中國戰略,從數據要素實踐和數字化轉型雙重視角,指導企業通過數據中臺管好數據、用好數據。
以數據中臺為起點,讓更多人理解數據的魅力,是2019年時作者團隊決定寫《數據中臺:讓數據用起來》(本書第1版)的初衷。
由于5G、AI、物聯網等技術的普及應用,數據將對企業未來的發展產生深遠的影響。數據的應用場景不斷拓展,數據源日益豐富,數據量快速攀升,數據真正進入了爆發式增長及價值擴大化階段。要管好數據、用好數據,以數據中臺為代表的數據應用基礎設施將成為關鍵。讓數據用起來既是數據中臺的初心和使命,也是我們共同的追求。
根據企業年報等公開資料、專家訪談及艾瑞咨詢的自有統計模型核算,2020年我國數據中臺的市場規模達到68.2億元,較上年增長了近80%。2022年我國數據中臺的市場規模已達139億元,2018~2022年的復合增長率為69.1%。
數據中臺廣受市場追捧,并被寄予厚望。這幾年,數據中臺相關的方法論和解決方案層出不窮,企業紛紛啟動數據中臺項目。但我們的切身感受是,具體行業、企業的實踐案例,特別是成功的實踐案例還是偏少的。
2019年寫本書第1版時,我們系統闡述了數據中臺的基本概念、體系框架、核心能力等內容,主要討論了數據中臺是什么、為何產生、可以解決什么問題,以及如何用數據中臺管好數據、用好數據。在第2版中,我們旨在揭示數據中臺的全貌和實戰經驗,為讀者提供更有價值的參考。
此外,針對很多讀者關心的數據中臺項目如何落地實施的問題,我們在第2版中重點添加了數據中臺交付體系的內容,詳細介紹了如何通過從項目啟動到上線保障的6個環節開展數據中臺項目,并說明了各個環節涉及的角色及其分工、產出物等。
最后,從數據中臺的產生與發展入手,深入探討數據中臺的應用場景。通過介紹6個典型行業(政務、制造、汽車、地產、零售和醫藥)的數據中臺建設案例,帶領讀者深入了解不同行業的數字化轉型之路,看看走在數字化建設前列的企業迎來了怎樣的歷史性變革。我們希望第2版能夠為大家提供更多有價值的參考和啟發。
基于過去幾年各行各業的數據中臺實踐經驗和我們收到的反饋,我們對原有的方法論體系進行了微調和完善,特別是在應用體系方面,以更加貼合實際的方式介紹數據中臺如何發揮業務價值和解決業務問題。
不知不覺中,數據中臺這個概念自提出至今已有近10年時間了。過去幾年,數據中臺作為數字化浪潮中嶄露頭角的新事物備受關注,有被推崇的高峰期,也有被質疑的低谷期。在下游企業和資本市場的關注、助推下,數據中臺市場從萌芽期快速進入爆發期,在企業建設數據中臺實踐屢屢受挫時又備受質疑。
我們認為,拋開數據中臺不談,各企業經過多年的信息化建設積累了海量數據,如何利用這些數據支撐業務的轉型發展是企業數字化轉型過程中的共同訴求。數據中臺嘗試做的就是這樣的事情。
我國企業數字化轉型正在快速發展,政府一直在推動數字化轉型,數字化轉型被視為提高制造業和服務業競爭力的重要手段。
在數據驅動、數字化轉型的戰略下,鼓勵企業加強數據管理和利用,推動經濟高質量發展。而數據中臺建設是我國企業數字化轉型的重要一環,越來越多的企業開始重視數據中臺建設。但目前,我國的數據中臺建設仍然主要集中在大型企業和互聯網公司,中小企業的數據中臺建設相對滯后。
背后的原因是數據中臺的建設仍有諸多痛點亟須解決:第一,數據泄露和濫用的風險,政府和企業需要更加注重數據安全和隱私保護;第二,數據來源的多樣性和數據質量的不確定性,企業需要更加注重數據的準確性和可靠性,即數據質量問題;第三,不同企業之間、同一企業的不同部門之間的數據格式和標準不一致,數據共享與協作存在困難;第四,數據規模的不斷增大和數據類型的不斷增多,企業需要更加注重數據的治理和管理,以確保數據的可持續發展和價值提升。
2016年,數瀾科技成立。作為國內首家數據中臺服務獨立供應商,數瀾科技伴隨著數據中臺的興衰一路走來,有坎坷也有成就。
在過去的7年里,數瀾科技的產品及技術已廣泛應用于軍工、政府、地產、金融、制造、教育等領域,為上海飛機制造、成飛集團、富士康、三一集團、中信集團、萬科集團、華僑城集團、長安汽車、比亞迪、深圳巴士集團、長虹集團、寶馬中國、中國銀行、華泰證券、浙江交投等1000余家政企客戶提供了數據應用基礎設施服務,其中大型企業200多家,500強企業69家。比起客戶數量,更大的成就感來自客戶、行業伙伴、投資者以及政府的認可。
本書是數瀾科技集體智慧的結晶,付登坡、江敏、趙東輝、陶勝剛、蔣珍波、張成振、周帥、汪國強、陳璐、張瑞紅、鄭遠芃、洪牡丹、李農嬌等數瀾專家,多年奮戰在數據產品、開發、算法、咨詢、治理一線,積淀了數據中臺的前沿實戰案例和實踐經驗,并將其匯集成了本書。同時,感謝邱宇芳、王俊等專家在豐富本書內容、增強閱讀體驗等方面給予的建議和幫助。我們希望用最樸實的文字,帶給讀者以最實用的內容。
目前,數據中臺已經到了穩步發展的階段。任何事物的萌芽和發展,一定有其前提條件和土壤,還有最為重要的時間。值得期待的是,未來企業將不斷加強數據管理和利用,
*付登坡
數瀾科技聯合創始人、副總裁,國內首批大數據技術探路者,擅長數據建模、海量數據產品架構與實現,有著十余年大數據技術與應用的從業經驗。
*江敏
數瀾科技聯合創始人,曾就職于阿里巴巴、同花順等公司,專注于金融證券系統的高性能與高并發、大數據、人工智能等領域。阿里巴巴內部數據業務的第一批實踐者,阿里巴巴數據能力對外賦能的探索者,參與ID-Mapping、TCIF(淘寶消費者信息工廠)、數據交換、5K 等重點數據工作。曾擔任華為獨立顧問、國家級課題子項負責人、多個大型數字化項目規劃落地負責人。
*趙東輝
數瀾科技數據智能首席科學家,杭州市高層次人才,西安電子科技大學碩士生校外導師。曾就職于阿里巴巴,從事多業態數據打通及人工智能相關工作。主要研究領域為智能社會計算,目前是國家重點研發計劃社會治理與智慧社會科技支撐課題負責人。帶領團隊連續兩年入選中央網信辦人工智能企業典型應用案例,并榮獲中國人工智能協會第七屆數字化轉型企業優秀案例獎。畢業于中國科學技術大學,發表論文多篇,獲得發明專利12項。
第1章 解碼數據中臺1
1.1 數據中臺的產生與發展1
1.2 數據中臺的定義2
1.3 對數據中臺的認知4
1.4 數據中臺需要厘清的概念6
1.4.1 數據中臺與業務中臺6
1.4.2 數據中臺與數據倉庫8
1.4.3 數據中臺與BI8
1.4.4 數據中臺與數據湖9
1.4.5 數據中臺與數據編織9
1.4.6 數據中臺與現有信息架構10
1.5 歡迎進入數據中臺世界12
第2章 數據中臺建設與架構13
2.1 持續讓數據用起來的價值框架13
2.2 數據中臺建設方法論15
2.2.1 1項戰略行動16
2.2.2 2個保障條件17
2.2.3 4條目標準則18
2.2.4 4套建設內容18
2.2.5 5個關鍵步驟20
2.3 數據中臺架構22
第3章 數據應用成熟度評估與成功要素25
3.1 企業數據應用的成熟度評估25
3.1.1 第一階段:統計分析階段27
3.1.2 第二階段:決策支撐階段28
3.1.3 第三階段:數據驅動階段29
3.1.4 第四階段:運營優化階段31
3.2 企業數據中臺建設的應用場景33
3.2.1 不同行業的數據中臺應用需求33
3.2.2 什么樣的企業適合建設數據中臺34
3.3 數據中臺建設的7個成功要素35
第4章 數據匯聚:打破企業數據孤島39
4.1 數據采集、匯聚、交換的方法和工具39
4.1.1 數據采集39
4.1.2 數據匯聚43
4.1.3 數據交換45
4.2 數據匯聚產品46
4.3 數據存儲系統的選擇49
第5章 數據開發:數據價值提煉工廠56
5.1 數據計算能力的主要類型57
5.1.1 批計算58
5.1.2 流計算60
5.1.3 流批一體60
5.1.4 在線查詢61
5.1.5 即席分析62
5.2 離線開發63
5.3 實時開發66
5.4 算法開發68
5.4.1 可視化建模70
5.4.2 Notebook建模71
5.4.3 數據集管理71
5.4.4 核心算法組件72
5.4.5 多算法框架75
5.4.6 與離線、實時開發的聯合應用75
第6章 數據體系建設77
6.1 數據體系規劃77
6.2 貼源數據層建設全域數據統一存儲79
6.2.1 相關概念80
6.2.2 貼源數據表設計81
6.2.3 貼源數據表實現82
6.3 統一數倉層建設標準化的數據底座82
6.3.1 相關概念83
6.3.2 數據域劃分85
6.3.3 指標設計87
6.3.4 維度表設計87
6.3.5 事實表設計88
6.3.6 模型落地實現90
6.4 標簽數據層建設數據價值的魅力所在91
6.4.1 相關概念91
6.4.2 確定對象93
6.4.3 對象ID打通93
6.4.4 標簽類目設計94
6.4.5 標簽設計97
6.4.6 標簽融合表設計101
6.4.7 標簽融合表實現103
6.5 應用數據層建設靈活支撐業務需求103
6.5.1 相關概念104
6.5.2 應用數據表設計104
6.5.3 應用數據表實現104
6.5.4 應用數據場景化支撐105
第7章 數據資產管理107
7.1 數據資產的定義和3個特征107
7.2 數據資產管理現狀和挑戰108
7.3 數據資產管理的4個目標109
7.4 數據資產管理在數據中臺中的位置110
7.5 數據資產管理與數據治理的關系110
7.6 數據資產管理職能110
7.6.1 數據標準管理111
7.6.2 數據模型管理114
7.6.3 元數據管理115
7.6.4 主數據管理118
7.6.5 數據質量管理119
7.6.6 數據安全管理122
7.6.7 數據開發管理122
7.6.8 數據資產流通123
7.6.9 數據價值評估123
7.6.10 數據資產運營123
7.6.11 數據生命周期管理124
7.6.12 標簽管理124
7.6.13 數據資產門戶125
第8章 數據應用體系建設127
8.1 數據應用概述127
8.1.1 數據應用的定義128
8.1.2 數據應用的架構128
8.1.3 數據應用的特點130
8.1.4 數據應用的價值130
8.2 數據應用體系建設流程131
8.2.1 數據準備131
8.2.2 引擎選型134
8.2.3 服務及產品建設140
8.3 數據應用管理與運營146
8.3.1 管理體系建設147
8.3.2 質量管理監控147
8.3.3 效果評估與改進148
8.3.4 持續運營優化148
8.4 數據應用的發展趨勢149
第9章 數據中臺運營機制151
9.1 數據中臺運營效果評估模型151
9.2 數據中臺運營的4個價值切入點153
9.3 數據資產運營156
9.3.1 數據資產運營的4個目標156
9.3.2 數據資產運營的完整鏈路159
9.3.3 數據資產運營執行的5個動作160
9.3.4 數據資產質量評估165
9.3.5 數據資產安全管理167
9.3.6 數據資產運營報告170
9.3.7 數據資產運營與數據資產管理的關系171
9.4 數據成本運營171
9.5 數據中臺運營的實踐經驗177
9.6 數據中臺運營的要素與口訣180
第10章 數據安全管理181
10.1 數據安全面臨的挑戰181
10.1.1 數據安全問題帶來的四大損害181
10.1.2 法律與政策背景182
10.1.3 數據安全的三大技術挑戰183
10.2 貫穿數據生命周期的數據安全管理體系184
10.2.1 數據生命周期184
10.2.2 數據安全管理體系185
10.3 數據中臺的安全管理技術手段186
10.3.1 統一安全認證186
10.3.2 數據訪問權限管理187
10.3.3 多租戶數據資源隔離187
10.3.4 數據加密188
10.3.5 數據脫敏188
10.3.6 數據共享安全189
10.3.7 數據的容災備份189
10.3.8 數據安全的其他技術190
10.4 數據安全保護的技術趨勢190
第11章 數據中臺工程化交付體系192
11.1 數據中臺交付體系概述192
11.2 數據中臺工程化交付框架194
11.2.1 構建鐵三角交付團隊194
11.2.2 聚焦三大交付內容198
11.2.3 標準化交付環節任務201
11.2.4 工程化交付實施思路206
11.3 數據中臺交付的可持續演進218
第12章 政務行業案例:浙江某區縣公共數據平臺項目219
12.1 項目背景219
12.2 項目需求220
12.3 建設實施221
12.3.1 需求調研221
12.3.2 資源評估222
12.3.3 項目規劃設計222
12.3.4 方案落地實施223
12.4 項目價值230
第13章 制造行業案例:S集團財務資金風險監控平臺項目232
13.1 項目背景232
13.2 項目需求233
13.2.1 業務痛點233
13.2.2 項目建設目標235
13.3 建設實施236
13.3.1 需求調研236
13.3.2 資源投入236
13.3.3 項目規劃設計237
13.3.4 平臺功能239
13.3.5 方案落地實施239
13.3.6 項目上線試運行240
13.4 項目價值241
第14章 汽車行業案例:W集團車聯網大數據分析平臺項目243
14.1 項目背景243
14.2 項目需求244
14.3 建設實施245
14.3.1 需求調研245
14.3.2 項目規劃設計246
14.3.3 方案落地實施248
14.4 項目價值253
第15章 地產行業案例:Z集團客戶數據中臺從規劃到落地255
15.1 項目背景255
15.2 項目需求258
15.3 建設實施260
15.3.1 需求調研260
15.3.2 資源評估260
15.3.3 項目規劃設計261
15.3.4 方案落地實施266
15.3.5 項目上線試運行267
15.4 項目價值268
第16章 零售行業案例:B公司零售大數據平臺項目273
16.1 項目背景273
16.2 項目需求275
16.3 建設實施276
16.3.1 需求調研276
16.3.2 資源與風險評估277
16.3.3 項目規劃設計277
16.3.4 方案落地實施282
16.3.5 項目上線試運行285
16.4 項目價值285
第17章 醫藥行業案例:央國企S公司的數字化轉型項目287
17.1 央國企數字化轉型的背景287
17.2 醫藥行業數字化轉型的背景288
17.3 S公司的數字化轉型思考288
17.3.1 公司現狀與問題洞察288
17.3.2 數字化建設需求挖掘289
17.3.3 數字化建設思路289
17.4 S公司數字化建設范圍290
17.5 總體建設方案290
17.5.1 數字化宣貫方案290
17.5.2 數字化轉型藍圖設計292
17.5.3 以數據中臺為核心的雙中臺建設295
17.5.4 基于雙中臺的數字化場景建設297
17.6 項目交付實施保障298
17.6.1 項目建設特點298
17.6.2 項目交付保障299
17.6.3 項目過程回顧300
17.7 項目價值301