本書由曙光牽頭,參與單位有近20家,比較全面的反映了中國高性能計算應用的現狀。主題內容涵蓋高性能技術簡介,高性能計算在材料研究,生物信息,大氣海洋與氣候研究,工業仿真,石油勘探與加工,渲染,遙感,以及深度學習方面的應用。同時我們邀請了中國超算創新聯盟秘書長,中科院計算機網絡信息中心副主任遲學斌研究員對未來的高性能計算技術和應用做了展望。
25年來中國的高性能計算技術從無到有,從追趕到領先,并且廣泛應用到科研,教育,公共服務,醫療衛生等等各個方面。由于該產業鏈條長而復雜,尤其在應用方面各自相對獨立,急需這樣一本能夠對高性能應用全貌進行匯總和總結的書。
就剛剛公布的13-5國家重點研發計劃高性能計算重點專項,*明顯的一個變化就是把高性能計算的應用單列并且給予極大力度的支持。這足以表明本書的主題,高性能計算的應用不僅僅是高性能產業鏈的重要一環,更加是其核心價值的體現。而且,能夠集中的對高性能應用的全貌進行闡述,也能夠幫助相關領導了解本技術的實際價值,并未將來的政策制定提供依據。
不同于高性能計算機本身的軟硬件和相關支持部件,高性能應用需要相對完善的物理模型,更加高效的并行算法,同時,還需要跟實際的生產生活緊密結合。其研究結果常常對真是的生產生活起到省時省力的效果。例如,在石油勘探中,一個井開鑿下去,少則1億元人民幣,多則10幾億人民幣,定位不準確,其經濟損失可想而知。再如,新生兒唐氏篩查。傳統的唐氏篩查方法是根據通過抽取孕婦血清,檢測母體血清中甲型胎兒蛋白、絨毛促性腺激素和游離雌三醇的濃度,并結合孕婦的預產期、體重、年齡和采血時的孕周等,計算生出先天缺陷胎兒的危險系數,而這種檢測的誤差率可能達到40%。現在,只需要抽取孕婦的靜脈外周血,進行DNA測序和生物信息學分析,便能夠幾乎100%確認胎兒是否患有唐氏綜合癥。這里的生物信息學分析就是高性能計算的典型應用之一。本書將介紹更多的實例。
對與高性能計算技術的新人以及各個應用的初學者,通過這本書不僅能夠較為全面的了解高性能應用的全貌,更加能夠獲得相關應用方向基礎入門的指導和實際案例的啟迪。
據前期調研,并未發現如此全面介紹高性能各個方向應用的書籍。
前言
高性能計算,又稱超級計算,是計算機科學重要的前沿性分支,它不僅是一個國家綜合科研實力的體現,更是對國家安全、經濟和社會發展具有舉足輕重的意義,是公認的國家科技發展水平和綜合國力的重要標志,已成為各國競相搶占的科技競爭戰略制高點,全球僅美國、日本、中國擁有超級計算技術。高鐵和超級計算是美國唯一公開承認中國能與之比肩甚至超過美國的技術和產業。
高性能計算是科技的基礎產業,應用上可支撐: 核試驗模擬、石油勘探、氣象預報、農業育種、醫療服務、新藥研制、動漫渲染、材料設計、金融計算等,幾乎涉及人類科學和生活的每一個領域。一般來說,凡是需要大規模數值模擬計算和大規模數據分析處理的情形都可以利用超級計算機進行加速,同時還可以協助探索超宏觀(如宇宙)、超微觀(如納米級)、極端環境(如人造太陽)等實際工作環境難以實現的研究。據IDC報告,2015年全球超算市場規模約250億美元,其中,高性能計算機系統(包括服務器、存儲和網絡)約占60%,軟件和服務約占35%; 并預測20152020 年超算市場規模將以8.3%的復合增長率迅速擴大,在2020年將達到440億美元。另外,深度學習和人工智能被認為是2020年前最有希望顛覆人類生產和生活的技術,而它與超級計算密不可分。從深度學習的模型訓練,到模型推理都依賴于超算技術。目前,深度學習已經滲透到文字、語音與影像的識別與處理、生物、醫藥與醫療、娛樂與媒體、精準營銷、國防與安保、自動駕駛與無人飛行器等多個方面。到2020年,預計深度學習應用市場將達到400億美元。超級計算同時也已經與大數據結合,成為大數據相關產業的技術基礎,在此之上可以進行城市規劃,實現相關惠民服務,包括政務、交通、社保、醫療、教育、就業、城市、幫扶、電商等惠民服務。此外,還有醫療大數據、空天大數據、氣象大數據、環保大數據、金融大數據等一系列朝陽性應用。中國政府從九五計劃開始就一直支持高性能計算的技術、產業、應用的發展。國家863計劃推出了一系列高效能計算機系統,2008 年的深騰7000的計算性能是每秒150 萬億次,曙光5000A是每秒230 萬億次; 2010 年推出了曙光每秒6000萬億次和每秒3000 萬億次,天河一號是每秒4700 萬億次。2011 年,我們用國產的處理器推出了每秒千萬億次系統神威藍光,這是一個里程碑式的成果,解決了國內用自主研發的處理器實現千萬億次系統的突破。2013 年6 月,世界超級計算機500 強中,天河二號名列第一,其峰值速度達到了每秒5億億次。863 計劃也啟動了第二臺10 億億次的計算機研究,由神威藍光團隊研制的基于自主芯片的太湖之光超級計算機,當前位列Top500排名第一。此外,截至2016年,中國科技部批準建立的國家超級計算中心共有7家,分別是國家超級計算合肥中心、國家超級計算天津中心、國家超級計算廣州中心、國家超級計算深圳中心、國家超級計算長沙中心、國家超級計算濟南中心和國家超級計算無錫中心。可以看到,在系統研制和環境建設方面,我們已經走到了世界領先的地位。近年來,E級計算成為高性能計算一個新的發展目標。2013年,以Prace為首的歐洲超算聯盟又啟動2020地平線計劃及基于ARM架構的E級計算原型系統的稻草人計劃。2015年,美國白宮提出了國家戰略計算計劃(National Strategic Computing Initiative),用以最大化超級計算的研究、開發、部署能給美國社會所能帶來的福利。2016年以來,中國政府加大了對超算的支持的力度,發展E級高性能計算機及其相關技術。2016年10月9日,習近平總書記在中共中央政治局第三十六次集體學習時強調要緊緊牽住核心技術自主創新這個牛鼻子,……,推動高性能計算(超算)、移動通信、量子通信、核心芯片、操作系統等研發和應用取得重大突破。2016年12月,國務院印發《十三五國家信息化規劃》指出: 十三五時期要大力發展先進計算技術,重點加強E級計算(超級計算全球最前沿技術,每秒運算性能達到百億億次)、云計算、量子計算、人本計算、異構計算、智能計算、機器學習等技術研發及應用。科技部已經按照十三五的規劃要求,啟動高性能計算(超算)重點專項2016年度項目和2017年度項目。其中,2016年專項圍繞E級高性能計算機系統研制、高性能計算應用軟件研發、高性能計算環境研發等三個創新鏈(技術方向)部署了20個重點研究任務; 2017年專項則圍繞E級計算機的編程模型、算法、示范應用及特定行業應用軟件研制展開。盡管如此,高性能計算的應用卻往往躲在屏幕之后,不為大眾所熟知。此外,由于高性能計算的產業鏈長而復雜,很多IT研究人員對應用了解的并不多,而且不同應用方向的研究人員之間也是隔行如隔山。其次,中國的超級計算機如星云、天河、太湖之光都在世界排名中名列前茅,不少國外的專家質疑我們只是用錢堆出個機器,并不是真正地把高性能計算機用起來。再次,E級計算機原型系統以及將來的E級計算機即將部署,我們需要對以往的高性能計算應用進行歸納,進而為運算速度更快的新一代超級計算機的高效運行與利用打好基礎。正是因為這些考量,筆者邀請了業內相關專家學者一起編著了本書。本書由中科曙光公司牽頭,參與單位近二十家,較為全面地反映了中國高性能計算應用的現狀。同時我們邀請了中國超算創新聯盟對未來的高性能計算技術和應用做了展望,相信可以供高性能計算技術的研究人員、應用專家、相關政策的制訂者,以及該技術的愛好者參考使用。本書得到了國家重點研發計劃高性能計算重點專項2016YFB0200300和2016YFB0200100的資助,特此表示感謝。對于本書的編寫工作,各位作者付出了極大的心血和努力,將自己多年積累的高性能計算相關知識和經驗予以整理共同完成了此書。然而,編寫時間倉促,精力有限,書中難免會有所疏漏,敬請讀者批評指正。歷軍2018年3月中關村軟件園
目錄
第1章總述
1.1高性能計算概述
1.1.1系統架構
1.1.2硬件基礎
1.1.3并行算法
1.1.4中國高性能計算中心
1.2常見應用領域
1.2.1科學計算
1.2.2能源領域
1.2.3氣象領域
1.2.4工程仿真
1.3新興應用領域
1.3.1基因測序研究
1.3.2證券指數計算
1.3.3動漫渲染
1.3.4互聯網與深度學習
參考文獻
第2章高性能計算應用之計算材料研究
2.1計算材料學概覽
2.1.1引言
2.1.2超越發現: 新材料設計觀
2.1.3日趨成熟的計算方法論
2.1.4計算材料學應用軟件
2.2典型案例
2.2.1第一性原理計算在多鐵材料中的應用
2.2.2蒙特卡羅方法及其在石墨烯研究中的應用
2.3新興的材料基因組計劃
小結
參考文獻
第3章高性能計算應用之生物學研究
3.1計算生物學概覽
3.2蛋白質結構研究
3.2.1電子顯微三維重構
3.2.2質譜儀原始資料處理
3.2.3分子動力學模擬
3.3計算機輔助藥物設計
3.3.1應用背景
3.3.2計算資源需求
3.4生物信息學
3.4.1生物信息學簡介
3.4.2基因測序及數據處理技術
3.4.3生活中的生物信息學
3.5精準醫療
3.5.1精準醫療的概念演變及發展
3.5.2精準醫療服務于癌癥診療
3.5.3高性能計算與精準醫療
參考文獻
第4章高性能計算應用之氣象學研究
4.1數值天氣預報
4.1.1數值天氣預報的起源
4.1.2數值天氣預報的工作原理
4.1.3數值天氣預報現狀與發展趨勢
4.1.4數值天氣預報與高性能計算
4.1.5常用天氣預報模式介紹
4.2數值海洋預報
4.2.1數值海洋預報的起源
4.2.2數值海洋預報的工作原理
4.2.3數值海洋預報現狀與發展趨勢
4.2.4數值海洋預報與高性能計算
4.2.5常用海洋預報模式介紹
4.3數值氣候模擬
4.3.1數值氣候模擬背景介紹
4.3.2數值氣候模擬與高性能計算
4.3.3常用氣候模式介紹
4.4環境空氣質量預報
4.4.1空氣質量預報的起源
4.4.2空氣質量預報的工作原理
4.4.3空氣質量預報現狀與發展趨勢
4.4.4空氣質量預報與高性能計算
4.4.5常用空氣質量模式介紹
4.5典型案例
4.5.1中國環境監測總站
4.5.2預報預警中心
小結
參考文獻
第5章高性能計算應用之工業仿真
5.1工程仿真概覽
5.1.1工程仿真簡介
5.1.2工程仿真的重要性
5.1.3工程仿真的技術發展
5.1.4常見的工程仿真軟件簡介
5.1.5工程仿真如何開展
5.2工業仿真與高性能計算
5.2.1CAE與HPC
5.2.2工業仿真計算平臺的需求分析和硬件選型
5.2.3高性能計算平臺配置方案與使用方法
5.2.4工業仿真云的建設方案簡介
5.3典型應用案例
5.3.1某軌道交通裝備集團仿真公共服務平臺建設
5.3.2某特種設備研究院高性能計算平臺建設
參考文獻
第6章高性能計算應用之石油勘探領域研究
6.1石油產業戰略資源關系國計民生
6.2石油勘探開發領域高性能計算發展歷程
6.3典型案例
6.3.1基于GPU混合架構下的積分法疊前時間偏移應用
6.3.2基于GPU混合架構下的RTM逆時偏移應用
6.3.3兩寬一高海量數據處理
6.3.4存儲對石油勘探大數據處理集群效率影響分析
6.3.5大數據時代勘探云建設模式探索
小結
參考文獻
第7章高性能計算應用之石油加工領域研究
7.1石油加工領域國民經濟的支柱產業
7.2石油加工領域高性能計算發展歷程
7.3典型案例
7.3.1催化裂化過程的數值模擬
7.3.2烴類蒸汽裂解制乙烯過程的數值模擬
7.3.3催化重整過程的數值模擬
7.3.4加熱爐及其空氣預熱器的數值模擬
7.3.5氣固鼓泡流化床中的數值模擬
7.3.6深層鼓泡床內偏涌現象的數值模擬
7.3.7盤環型汽提器中磨損機理的CPFD數值模擬研究
小結
參考文獻
第8章高性能計算應用之渲染領域研究
8.1渲染簡介
8.1.1渲染的定義
8.1.2渲染的應用領域
8.2渲染常用技術
8.2.1渲染相關概念
8.2.2渲染常用算法
8.2.3渲染常用軟件
8.2.4渲染農場技術
8.2.5云渲染
8.2.6GPU渲染
8.3典型案例
8.3.1特種電影的HPC應用
8.3.2渲染云應用
參考文獻
第9章高性能計算應用之遙感領域研究
9.1遙感介紹
9.2遙感與大數據
9.2.1遙感大數據表示
9.2.2遙感大數據存儲
9.2.3遙感大數據組織
9.2.4遙感大數據檢索
9.2.5遙感大數據理解
9.2.6遙感大數據挖掘
9.2.7遙感數據特點分析
9.3遙感計算
9.3.1遙感計算需求分析
9.3.2計算技術發展現狀
9.3.3遙感應用計算架構
9.4典型案例
9.4.1遙感圖像處理應用案例(CPU GPU)
9.4.2遙感影像分發應用案例(MPI HBase)
小結
參考文獻
第10章高性能計算應用之深度學習研究
10.1深度學習技術簡介
10.1.1深度學習的發展
10.1.2深度學習應用分析
10.2高性能計算與深度學習
10.2.1深度學習的計算需求
10.2.2高性能計算技術的革新
10.2.3計算技術對深度學習的推進
10.3深度學習的理論基礎
10.3.1信息系統處理模型
10.3.2人工神經網絡的表示
10.3.3感知器原理
10.4深度學習工具介紹
10.4.1開源工具
10.4.2Caffe測試實例
10.4.3曙光XSharp介紹
10.5典型案例
10.5.1人臉識別
10.5.2ImageNet圖像分類
10.6深度學習技術在中國的應用現狀
參考文獻
第11章高性能計算應用展望
11.1高性能計算應用現狀
11.1.1國際高性能計算應用現狀
11.1.2國內高性能計算應用現狀
11.2高性能計算應用趨勢
11.2.1Top500數據統計
11.2.2戈登·貝爾獎應用分布
11.2.3應用軟件研發
11.3主要國家對高性能計算的投入
11.3.1美國
11.3.2歐盟
11.3.3日本
11.3.4中國
11.4展望
11.4.1學術展望
11.4.2企業展望
參考文獻