作者 | 曾響鈴
文 | 響鈴說
作為IT行業(yè)的“明珠”,極”硬核”的高性能計算不如云計算、AI、物聯(lián)網(wǎng)技術備受關注。但不可忽視的是,近年來,高性能計算正在從高精尖科研加速邁向千行百業(yè),成為推動數(shù)字經(jīng)濟發(fā)展的新引擎。在近日舉辦的2022全國高性能計算學術年會(CCF HPC China 2022)上,我們可以看到,華為等企業(yè)除了提供綜合化技術支撐外,正在通過生態(tài)共建的方式推動HPC發(fā)展,以促進產(chǎn)業(yè)共同繁榮,把握新機遇。
HPC發(fā)展已進入新階段
一方面,環(huán)境科學、生命科學、材料科學、能源、制造……所有追求快、多、準計算的領域,都更加迫切地需要HPC,也提出了更高的要求。另一方面,發(fā)展HPC所需要的各項條件在中國計算機學會、高校、企業(yè)等產(chǎn)學研單位的推動下持續(xù)累積,并形成正循環(huán)。
從華為發(fā)表的《共筑算力新生態(tài) 賦能數(shù)字新未來》主題演講中,可以看到其中幾個具體的發(fā)展方向,
向更高效率、多樣性的計算架構(gòu)演進,例如,當前ARM指令集兼容的HPC,如鯤鵬HPC生態(tài)已完備,已成為氣象行業(yè)主要選擇之一,超融合以太網(wǎng)絡面向AI訓練場景量身打造NSLB網(wǎng)絡級負載均衡,釋放AI算力。
強大的、跨區(qū)域的算力網(wǎng)絡正在形成,如今各地數(shù)據(jù)中心、計算中心的新基建如火如荼,并且逐漸連成網(wǎng)絡。
更加注重軟件技術及生態(tài)構(gòu)建,目前以openEuler操作系統(tǒng)等為代表的基礎軟件生態(tài)正在快速發(fā)展。
更加需要產(chǎn)業(yè)力量來實現(xiàn)價值閉環(huán),以武漢高性能計算聯(lián)盟、全球計算聯(lián)盟為代表的產(chǎn)業(yè)組織,應用聯(lián)合創(chuàng)新、學術界和產(chǎn)業(yè)界課題合作等一直在推進。
HPC發(fā)展正在進入新階段,新時代的集結(jié)號已經(jīng)吹響。
技術創(chuàng)新打造底層源動力,共建生態(tài)推動產(chǎn)業(yè)新發(fā)展
有底層技術,有伙伴的共同努力,才有HPC在產(chǎn)業(yè)的持續(xù)繁榮。
華為在主題演講中提出了三位一體的HPC發(fā)展戰(zhàn)略,也即筑牢底座、共建生態(tài)、繁榮產(chǎn)業(yè)。
首先,要構(gòu)筑未來數(shù)字化應用的堅實HPC算力底座。
相對于其他任何技術領域,HPC都要更考驗綜合化的力量。
這方面,華為基于鯤鵬全棧打造的高性能計算解決方案,涵蓋硬件使能、基礎軟件、應用優(yōu)化等層次能力,全面囊括了HPC的各項要素需求。
在最基礎的硬件層,面向多樣性計算趨勢,方案提供全場景液冷整機柜硬件平臺天成集群硬件,功率密度相比傳統(tǒng)風冷機架提升了8倍,PUE小于1.15,充分釋放集群硬件性能,也兼顧系統(tǒng)能效比。
針對數(shù)據(jù)密集型高性能計算存儲需求,打造HPDA解決方案,支持大規(guī)模并發(fā)、實時分析、跨地域/跨集群數(shù)據(jù)共享與流動。方案核心組成——數(shù)據(jù)加速引擎DataTurbo能聯(lián)接應用與存儲,提升50% HPDA數(shù)據(jù)處理效率,使數(shù)據(jù)調(diào)度效率提升3倍。
在網(wǎng)絡方面,華為推出超融合以太技術,實現(xiàn)計算、存儲、業(yè)務三網(wǎng)融合,根據(jù)業(yè)務進行動態(tài)調(diào)度和差異化保障,實現(xiàn)算力有效釋放。還面向AI訓練場景量身打造超融合以太NSLB網(wǎng)絡均衡技術,實現(xiàn)AI訓練場景下整網(wǎng)流量100%的均衡度和AI訓練性能提升,更有DPFF故障無感自愈技術使得業(yè)務層面對故障無感知,提升高性能計算和存儲的計算效率。
在軟件方面,華為構(gòu)建了完整的高性能計算基礎軟件棧,不僅包含了openEuler操作系統(tǒng)、畢昇編譯器、鯤鵬數(shù)學庫及Hyper MPI通信庫等一系列基礎軟件,同時還包含了面向管理員的多瑙集群管理套件以及面向開發(fā)者的Devkit鯤鵬開發(fā)套件。
面對應用側(cè)需求,華為投入了大量的領域?qū)<液陀脩暨M行對接,更加關注直接影響應用性能的實際技術指標和計算中心的有效算力,通過全棧設計與優(yōu)化,打造HPC最優(yōu)應用性能。
再有,是匯聚生態(tài)的力量。高性能計算技術尖深和復雜,意味著構(gòu)建新生態(tài)是一次極限探索。牢固底座只是第一步,構(gòu)建應用軟件生態(tài)更為關鍵,而這必須依靠產(chǎn)業(yè)伙伴的共同努力。
華為通過開源的模式,豐富和完善基礎軟件體系。一方面主動開源自身產(chǎn)品能力,涵蓋歐拉操作系統(tǒng)、畢昇編譯器、鯤鵬數(shù)學庫等HPC基礎軟件,另一方面持續(xù)貢獻HPC開源社區(qū),共同建設ARM CI(持續(xù)集成)平臺,使能開源軟件源頭支持多樣性算力。得益于對開源的持續(xù)投入,華為HPC已在氣象環(huán)境、生命科學、制造仿真等關鍵行業(yè)實現(xiàn)廣泛應用,支持80%核心場景。
人才是引領生態(tài)發(fā)展的核心力量之一,華為推出多項計劃,包括鯤鵬展翅伙伴計劃、鯤鵬眾智計劃、鯤鵬科研創(chuàng)新使能計劃等,賦能產(chǎn)業(yè)伙伴。同時把相關的知識和經(jīng)驗,整合為培訓課程,編撰成高校教材,培養(yǎng)專業(yè)人才,不斷發(fā)展和完善HPC的技術生態(tài),構(gòu)筑HPC人才根基。
產(chǎn)業(yè)共繁榮,開創(chuàng)數(shù)字經(jīng)濟發(fā)展新未來
本次2022全國高性能計算學術年會上,華為也分享了其HPC產(chǎn)業(yè)建設的進展和思考,其中包括積極參與GCC開放標準聯(lián)盟、武漢高性能計算產(chǎn)業(yè)聯(lián)盟等產(chǎn)業(yè)組織和平臺的建設,形成生態(tài)合力,加速高性能計算的產(chǎn)業(yè)鏈構(gòu)建和產(chǎn)業(yè)全球化發(fā)展;通過設立高性能計算青年創(chuàng)新基金、向業(yè)界發(fā)布產(chǎn)業(yè)課題等方式,攜手產(chǎn)業(yè)伙伴共同探索和突破產(chǎn)業(yè)難題,呼吁加速與學術界的融合,促進科研成果產(chǎn)業(yè)落地;聯(lián)合CCF以及其他產(chǎn)業(yè)伙伴共同合作發(fā)布產(chǎn)業(yè)白皮書,旨在形成對于HPC技術和生態(tài)的共識,助力共同繁榮高性能計算產(chǎn)業(yè)。
可預見的是,隨著算力底座的持續(xù)夯實、算力生態(tài)的穩(wěn)步發(fā)展、產(chǎn)業(yè)力量的不斷匯聚,高性能計算這顆“明珠”將閃亮出更璀璨的光芒,點亮數(shù)字化新未來。
*本文圖片均來源于網(wǎng)絡
*此內(nèi)容為【響鈴說】原創(chuàng),未經(jīng)授權(quán),任何人不得以任何方式使用,包括轉(zhuǎn)載、摘編、復制或建立鏡像。
【完】
曾響鈴
1鈦媒體、品途、人人都是產(chǎn)品經(jīng)理等多家創(chuàng)投、科技網(wǎng)站年度十大作者;
2 虎嘯獎評委;
3 作家:【移動互聯(lián)網(wǎng)+ 新常態(tài)下的商業(yè)機會】等暢銷書作者;
4 《中國經(jīng)營報》《商界》《商界評論》《銷售與市場》等近十家報刊、雜志特約評論員;
5 鈦媒體、36kr、虎嗅、界面、澎湃新聞等近80家專欄作者;
6 “腦藝人”(腦力手藝人)概念提出者,現(xiàn)演變?yōu)?ldquo;自媒體”,成為一個行業(yè);
7 騰訊全媒派榮譽導師、多家科技智能公司傳播顧問。
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!