本書在介紹大數(shù)據(jù)背景以及物聯(lián)網(wǎng)環(huán)境中數(shù)據(jù)基本特征的基礎(chǔ)上,詳細(xì)介紹了海量數(shù)據(jù)存儲的相關(guān)知識,內(nèi)容包括:數(shù)據(jù)存儲基本原理、容錯磁盤陣列(RAID)技術(shù)、網(wǎng)絡(luò)存儲技術(shù)、分布式文件系統(tǒng)、海量存儲系統(tǒng)、存儲優(yōu)化技術(shù)、存儲技術(shù)在物聯(lián)網(wǎng)中的應(yīng)用,以及新型存儲芯片技術(shù)和未來存儲技術(shù)的發(fā)展方向。
在物聯(lián)網(wǎng)技術(shù)不斷發(fā)展、應(yīng)用迅速推廣的時代,以無線傳感網(wǎng)為代表的數(shù)據(jù)源不斷生產(chǎn)海量數(shù)據(jù),像滾滾洪流涌向數(shù)據(jù)中心,數(shù)據(jù)存儲正面臨嚴(yán)峻挑戰(zhàn)。大數(shù)據(jù)時代,各行各業(yè)的數(shù)據(jù)量急劇增加,在分析處理過程中需要進(jìn)行暫時或長久的數(shù)據(jù)存儲,傳統(tǒng)的數(shù)據(jù)存儲技術(shù)在容量、速度、功耗、可靠性等方面均難以勝任。為應(yīng)對挑戰(zhàn),亟待普及與數(shù)據(jù)存儲相關(guān)的基礎(chǔ)知識,提高數(shù)據(jù)存儲應(yīng)用和管理的水平,也需要深入研究數(shù)據(jù)存儲的體系結(jié)構(gòu)、管理與優(yōu)化等提高存儲效率的相關(guān)技術(shù),同時需要探索基于全新原理的、性能更加優(yōu)越的存儲新技術(shù)。本書旨在普及數(shù)據(jù)存儲知識,開闊視野,以應(yīng)對當(dāng)前和未來面臨的存儲挑戰(zhàn)。
技術(shù)發(fā)展的推動和應(yīng)用需求的牽引使得數(shù)據(jù)存儲技術(shù)日新月異。本書內(nèi)容力求覆蓋存儲技術(shù)的各個方面,從數(shù)據(jù)存儲基本原理到存儲系統(tǒng)的維護(hù)和管理,從數(shù)據(jù)存儲發(fā)展歷史到最新技術(shù)進(jìn)展。通過學(xué)習(xí)本書,你可以掌握或了解:
數(shù)據(jù)是什么?數(shù)據(jù)和信息有什么區(qū)別?數(shù)據(jù)如何存儲?存儲器是怎樣工作的?存儲設(shè)備是如何發(fā)展的?RAID的基本概念、級別和發(fā)展。
網(wǎng)絡(luò)存儲的發(fā)展,DAS、NAS、SAN、iSCSI、云存儲的工作原理。
海量存儲的體系結(jié)構(gòu)和管理方法,體系結(jié)構(gòu)如何適應(yīng)存儲器的變化?存儲管理如何走向自動化?虛擬存儲和軟件定義存儲有何區(qū)別?數(shù)據(jù)的備份與恢復(fù),以及重復(fù)數(shù)據(jù)的刪除。
物聯(lián)網(wǎng)中的數(shù)據(jù)有何特征?如何有效管理?如何可靠存儲?古老的磁盤還充滿生機(jī)嗎?新型的非易失存儲芯片進(jìn)展如何?FRAM、RRAM、PRAM、STT-MRAM的原理、現(xiàn)狀、前景如何?感謝上海交通大學(xué)傅育熙教授、西安交通大學(xué)桂小林教授、武漢大學(xué)黃傳河教授、上海交通大學(xué)蔣建偉教授、華中科技大學(xué)秦磊華教授、上海交通大學(xué)王東教授、南開大學(xué)吳功宜教授、四川大學(xué)朱敏教授,在與他們的交流中,我學(xué)到了很多知識,開闊了視野,受益匪淺。特別感謝機(jī)械工業(yè)出版社華章公司溫莉芳副總經(jīng)理的指導(dǎo)和關(guān)心,本書是在溫老師的鼓勵下完成的。特別感謝機(jī)械工業(yè)出版社華章公司教材部朱劼編輯,感謝她不斷的鼓勵和極大的耐心及寬容。特別感謝負(fù)責(zé)本書的佘潔編輯和曲熠編輯,她們極其認(rèn)真、細(xì)致的審閱和極具專業(yè)水平的修改建議使本書增色許多。
海量數(shù)據(jù)存儲技術(shù)的研究與應(yīng)用需要多學(xué)科綜合考慮,涉及材料、物理、計算機(jī)科學(xué)與技術(shù)、可靠性工程、系統(tǒng)科學(xué)、管理科學(xué)等,因此,存儲器件與部件的研究、存儲系統(tǒng)的方案設(shè)計、軟硬件安裝調(diào)試、日常應(yīng)用和維護(hù)管理等工程都極具挑戰(zhàn)性。海量數(shù)據(jù)存儲的堡壘,有待我們探索和攻克!方糧
前言
教學(xué)建議
第1章 海量數(shù)據(jù)存儲的基本概念 /1
1.1 數(shù)據(jù)與數(shù)據(jù)存儲 /1
1.1.1 數(shù)據(jù)的基本概念 /1
1.1.2 數(shù)據(jù)存儲的基本概念 /3
1.2 物聯(lián)網(wǎng)與大數(shù)據(jù)時代面臨的機(jī)遇和挑戰(zhàn) /4
1.3 海量數(shù)據(jù)與海量數(shù)據(jù)存儲 /5
1.3.1 海量數(shù)據(jù)的基本概念 /5
1.3.2 海量數(shù)據(jù)的存儲 /6
1.4 本章小結(jié)與擴(kuò)展閱讀 /7
思考題 /7
參考文獻(xiàn) /7
第2章 數(shù)據(jù)存儲的基本原理 /8
2.1 數(shù)據(jù)存儲的實現(xiàn) /8
2.1.1 存儲介質(zhì)的不同狀態(tài) /8
2.1.2 存儲介質(zhì)的狀態(tài)感知 /10
2.1.3 存儲介質(zhì)的狀態(tài)轉(zhuǎn)換 /11
2.2 數(shù)據(jù)的寫入與讀出技術(shù) /11
2.3 數(shù)據(jù)存儲設(shè)備的發(fā)展歷史與分類 /12
2.3.1 數(shù)據(jù)存儲設(shè)備的發(fā)展歷史 /12
2.3.2 數(shù)據(jù)存儲設(shè)備的分類 /17
2.4 磁盤存儲器 /18
2.4.1 磁盤存儲器的基本結(jié)構(gòu) /18
2.4.2 磁盤存儲器的工作原理 /19
2.4.3 磁盤存儲器的性能指標(biāo) /20
2.4.4 磁盤存儲器的發(fā)展趨勢 /21
2.5 光盤存儲器 /21
2.5.1 光盤存儲器的發(fā)展過程 /22
2.5.2 光盤存儲器的基本原理 /24
2.5.3 光盤存儲器的發(fā)展趨勢 /28
2.6 數(shù)據(jù)存儲系統(tǒng) /30
2.6.1 數(shù)據(jù)存儲系統(tǒng)的基本概念 /30
2.6.2 Cache的工作原理與替換策略 /30
2.6.3 虛擬存儲器 /36
2.7 存儲系統(tǒng)實驗 /37
2.7.1 實驗一:虛擬磁盤(RamDisk) /37
2.7.2 實驗二:文件系統(tǒng)與目錄結(jié)構(gòu) /38
2.8 本章小結(jié)與擴(kuò)展閱讀 /40
思考題 /40
參考文獻(xiàn) /40
第3章 容錯磁盤陣列(RAID)的技術(shù)和應(yīng)用 /42
3.1 RAID的工作原理 /42
3.1.1 磁盤陣列的基本概念 /42
3.1.2 磁盤陣列的特性 /44
3.1.3 磁盤陣列的若干專用術(shù)語 /45
3.2 RAID的分級與結(jié)構(gòu) /46
3.2.1 RAID0 /46
3.2.2 RAID1 /47
3.2.3 RAID2 /48
3.2.4 RAID3 /48
3.2.5 RAID4 /49
3.2.6 RAID5 /49
3.2.7 RAID6 /50
3.2.8 RAID7 /50
3.2.9 RAID0 + 1 /51
3.2.10 Matrix RAID /51
3.2.11 JBOD和NRAID /52
3.2.12 NV RAID /54
3.3 RAID的實現(xiàn)技術(shù) /54
3.3.1 概述 /54
3.3.2 軟件RAID的實現(xiàn)技術(shù) /55
3.3.3 硬件RAID的實現(xiàn)技術(shù) /62
3.4 RAID的性能指標(biāo)與選購要點(diǎn) /69
3.4.1 RAID的性能指標(biāo) /69
3.4.2 影響RAID性能的因素 /70
3.4.3 磁盤陣列控制器模式對比 /71
3.4.4 RAID的選購要點(diǎn) /71
3.5 本章小結(jié)與擴(kuò)展閱讀 /73
思考題 /73
參考文獻(xiàn) /74
第4章 網(wǎng)絡(luò)存儲技術(shù) /75
4.1 概述 /75
4.1.1 網(wǎng)絡(luò)存儲的分類 /75
4.1.2 網(wǎng)絡(luò)存儲的發(fā)展趨勢 /76
4.2 DAS /77
4.3 NAS /80
4.3.1 NAS的主要特點(diǎn) /80
4.3.2 NAS的基本結(jié)構(gòu) /81
4.3.3 NAS的工作原理 /81
4.3.4 NAS的應(yīng)用 /83
4.3.5 NAS與DAS的比較 /86
4.3.6 NAS的選購要點(diǎn) /88
4.4 SAN /90
4.4.1 SAN技術(shù)的產(chǎn)生 /90
4.4.2 SAN的結(jié)構(gòu)與工作原理 /92
4.4.3 SAN的應(yīng)用 /95
4.4.4 NAS與SAN的比較 /101
4.4.5 融合NAS的SAN的發(fā)展趨勢 /102
4.5 iSCSI /104
4.5.1 iSCSI簡介 /104
4.5.2 iSCSI協(xié)議及實現(xiàn) /105
4.5.3 iSCSI的性能 /108
4.5.4 iSCSI的安全性問題 /109
4.5.5 iSCSI的可用性問題 /109
4.5.6 基于iSCSI的存儲系統(tǒng) /111
4.5.7 iSCSI的應(yīng)用 /112
4.5.8 iSCSI磁盤陣列產(chǎn)品選購要點(diǎn) /113
4.5.9 iSCSI的發(fā)展趨勢 /114
4.6 云存儲技術(shù) /115
4.6.1 概述 /116
4.6.2 云存儲的模型與應(yīng)用 /117
4.6.3 云存儲的分類和管理工具 /121
4.6.4 基于云存儲技術(shù)實現(xiàn)在線備份的安全 /124
4.6.5 基于云的災(zāi)難恢復(fù)功能 /126
4.7 本章小結(jié)與擴(kuò)展閱讀 /127
思考題 /127
參考文獻(xiàn) /127
第5章 海量存儲系統(tǒng)的體系結(jié)構(gòu)與管理 /128
5.1 海量存儲系統(tǒng)的體系結(jié)構(gòu) /128
5.1.1 多級存儲層次的基本概念 /128
5.1.2 多級存儲層次的性能分析 /130
5.2 分布式文件系統(tǒng) /131
5.2.1 分布式文件系統(tǒng)的基本概念 /131
5.2.2 分布式文件系統(tǒng)的關(guān)鍵技術(shù) /135
5.2.3 Ceph:一個Linux PB級分布式文件系統(tǒng) /136
5.3 Hadoop及數(shù)據(jù)分布式管理 /138
5.3.1 Hadoop的基本概念 /138
5.3.2 Hadoop的實現(xiàn) /139
5.3.3 Hadoop的應(yīng)用 /140
5.4 海量傳感數(shù)據(jù)管理系統(tǒng)的設(shè)計 /141
5.4.1 海量傳感數(shù)據(jù)管理系統(tǒng)的設(shè)計要求 /141
5.4.2 海量傳感數(shù)據(jù)管理系統(tǒng)的總體結(jié)構(gòu) /142
5.4.3 HBase數(shù)據(jù)庫設(shè)計 /142
5.4.4 傳感數(shù)據(jù)存儲管理功能 /142
5.4.5 傳感數(shù)據(jù)查看功能 /143
5.5 適應(yīng)新型存儲介質(zhì)的存儲體系結(jié)構(gòu) /143
5.5.1 存儲體系結(jié)構(gòu)的變化 /143
5.5.2 面向新型存儲介質(zhì)的存儲體系結(jié)構(gòu) /146
5.6 本章小結(jié)與擴(kuò)展閱讀 /147
思考題 /148
參考文獻(xiàn) /148
第6章 存儲管理自動化與優(yōu)化技術(shù) /149
6.1 存儲管理的自動化與標(biāo)準(zhǔn)化 /149
6.1.1 為什么需要存儲管理自動化 /149
6.1.2 哪些存儲管理工作可以自動化 /150
6.1.3 存儲管理自動化的實現(xiàn) /151
6.1.4 存儲管理的標(biāo)準(zhǔn)化 /152
6.1.5 SMI-S的主要技術(shù)特性及應(yīng)用 /153
6.2 虛擬存儲技術(shù) /155
6.2.1 虛擬存儲的特點(diǎn) /155
6.2.2 存儲虛擬化的關(guān)鍵技術(shù) /156
6.2.3 虛擬存儲的實現(xiàn)模式 /156
6.2.4 存儲虛擬化的應(yīng)對措施 /158
6.3 軟件定義存儲 /159
6.3.1 軟件定義存儲的基本概念 /159
6.3.2 軟件定義存儲的體系結(jié)構(gòu) /160
6.3.3 軟件定義存儲的理念對存儲體系設(shè)計的影響 /161
6.3.4 軟件定義存儲實施過程需要考慮的問題 /162
6.3.5 軟件定義存儲的發(fā)展趨勢 /163
6.4 數(shù)據(jù)備份與恢復(fù) /163
6.4.1 數(shù)據(jù)備份與恢復(fù)的必要性 /163
6.4.2 數(shù)據(jù)備份與恢復(fù)的基本概念 /164
6.4.3 容災(zāi)與災(zāi)難恢復(fù) /166
6.4.4 連續(xù)數(shù)據(jù)保護(hù)技術(shù) /168
6.4.5 個人備份工具CrashPlan /172
6.5 重復(fù)數(shù)據(jù)刪除 /176
6.5.1 重復(fù)數(shù)據(jù)刪除的基本概念 /176
6.5.2 重復(fù)數(shù)據(jù)刪除的基本方法 /177
6.5.3 重復(fù)數(shù)據(jù)刪除的關(guān)鍵技術(shù) /178
6.5.4 源端重復(fù)數(shù)據(jù)刪除的利與弊 /179
6.5.5 重復(fù)數(shù)據(jù)刪除解決方案實例 /180
6.6 本章小結(jié)與擴(kuò)展閱讀 /181
思考題 /182
參考文獻(xiàn) /182
第7章 存儲技術(shù)在物聯(lián)網(wǎng)中的應(yīng)用 /183
7.1 物聯(lián)網(wǎng)數(shù)據(jù)的特征與存儲需求 /183
7.1.1 物聯(lián)網(wǎng)數(shù)據(jù)的特征 /184
7.1.2 物聯(lián)網(wǎng)數(shù)據(jù)的存儲需求 /185
7.1.3 物聯(lián)網(wǎng)數(shù)據(jù)存儲系統(tǒng)的評價指標(biāo) /185
7.2 物聯(lián)網(wǎng)數(shù)據(jù)存儲模式及實現(xiàn)技術(shù) /186
7.2.1 物聯(lián)網(wǎng)數(shù)據(jù)存儲模式分類 /186
7.2.2 物聯(lián)網(wǎng)典型的存儲實現(xiàn)技術(shù) /186
7.2.3 物聯(lián)網(wǎng)存儲模式的比較分析 /189
7.2.4 物聯(lián)網(wǎng)數(shù)據(jù)存儲技術(shù)的發(fā)展趨勢 /190
7.3 物聯(lián)網(wǎng)數(shù)據(jù)存儲的高效解決方案 /190
7.3.1 物聯(lián)網(wǎng)數(shù)據(jù)存儲面臨的挑戰(zhàn) /191
7.3.2 物聯(lián)網(wǎng)數(shù)據(jù)存儲的研究基礎(chǔ) /191
7.3.3 物聯(lián)網(wǎng)數(shù)據(jù)存儲的體系結(jié)構(gòu) /192
7.3.4 物聯(lián)網(wǎng)數(shù)據(jù)存儲的實現(xiàn)方法 /193
7.3.5 實例研究和討論 /196
7.4 物聯(lián)網(wǎng)數(shù)據(jù)中心設(shè)計的關(guān)鍵技術(shù) /198
7.4.1 物聯(lián)網(wǎng)數(shù)據(jù)中心面臨的挑戰(zhàn) /199
7.4.2 物聯(lián)網(wǎng)數(shù)據(jù)中心的總體結(jié)構(gòu) /200
7.4.3 物聯(lián)網(wǎng)數(shù)據(jù)中心的應(yīng)用 /203
7.5 TinyOS中的數(shù)據(jù)存儲 /205
7.5.1 TinyOS簡介 /205
7.5.2 卷 /206
7.5.3 存儲配置數(shù)據(jù) /206
7.5.4 存儲日志數(shù)據(jù) /210
7.5.5 存儲大數(shù)據(jù)塊 /212
7.6 無線傳感器網(wǎng)絡(luò)中的容錯數(shù)據(jù)存儲技術(shù) /212
7.6.1 概述 /213
7.6.2 WSN容錯存儲的相關(guān)研究進(jìn)展 /213
7.6.3 設(shè)計WSN容錯存儲方案應(yīng)考慮的因素 /214
7.6.4 備份與恢復(fù)機(jī)制 /216
7.6.5 性能評價 /218
7.7 本章小結(jié)與擴(kuò)展閱讀 /220
思考題 /221
參考文獻(xiàn) /221
第8章 新型存儲技術(shù)及發(fā)展趨勢 /222
8.1 存儲介質(zhì) /222
8.1.1 磁存儲介質(zhì) /222
8.1.2 光存儲介質(zhì) /227
8.1.3 半導(dǎo)體存儲器 /229
8.1.4 DNA存儲 /230
8.1.5 基于納米顆粒的存儲技術(shù) /232
8.2 固態(tài)硬盤技術(shù) /232
8.2.1 固態(tài)硬盤的結(jié)構(gòu)與性能優(yōu)化 /233
8.2.2 閃存感知的RAID技術(shù) /237
8.2.3 基于PCIe接口的閃存陣列 /245
8.3 鐵電存儲器 /249
8.4 相變存儲器 /250
8.5 阻變存儲器 /251
8.6 自旋轉(zhuǎn)移矩磁存儲器 /254
8.7 本章小結(jié)與擴(kuò)展閱讀 /257
思考題 /258
參考文獻(xiàn) /258