作者 | 曾響鈴
文 | 響鈴說(shuō)
作為IT行業(yè)的“明珠”,極”硬核”的高性能計(jì)算不如云計(jì)算、AI、物聯(lián)網(wǎng)技術(shù)備受關(guān)注。但不可忽視的是,近年來(lái),高性能計(jì)算正在從高精尖科研加速邁向千行百業(yè),成為推動(dòng)數(shù)字經(jīng)濟(jì)發(fā)展的新引擎。在近日舉辦的2022全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì)(CCF HPC China 2022)上,我們可以看到,華為等企業(yè)除了提供綜合化技術(shù)支撐外,正在通過(guò)生態(tài)共建的方式推動(dòng)HPC發(fā)展,以促進(jìn)產(chǎn)業(yè)共同繁榮,把握新機(jī)遇。
HPC發(fā)展已進(jìn)入新階段
一方面,環(huán)境科學(xué)、生命科學(xué)、材料科學(xué)、能源、制造……所有追求快、多、準(zhǔn)計(jì)算的領(lǐng)域,都更加迫切地需要HPC,也提出了更高的要求。另一方面,發(fā)展HPC所需要的各項(xiàng)條件在中國(guó)計(jì)算機(jī)學(xué)會(huì)、高校、企業(yè)等產(chǎn)學(xué)研單位的推動(dòng)下持續(xù)累積,并形成正循環(huán)。
從華為發(fā)表的《共筑算力新生態(tài) 賦能數(shù)字新未來(lái)》主題演講中,可以看到其中幾個(gè)具體的發(fā)展方向,
向更高效率、多樣性的計(jì)算架構(gòu)演進(jìn),例如,當(dāng)前ARM指令集兼容的HPC,如鯤鵬HPC生態(tài)已完備,已成為氣象行業(yè)主要選擇之一,超融合以太網(wǎng)絡(luò)面向AI訓(xùn)練場(chǎng)景量身打造NSLB網(wǎng)絡(luò)級(jí)負(fù)載均衡,釋放AI算力。
強(qiáng)大的、跨區(qū)域的算力網(wǎng)絡(luò)正在形成,如今各地?cái)?shù)據(jù)中心、計(jì)算中心的新基建如火如荼,并且逐漸連成網(wǎng)絡(luò)。
更加注重軟件技術(shù)及生態(tài)構(gòu)建,目前以openEuler操作系統(tǒng)等為代表的基礎(chǔ)軟件生態(tài)正在快速發(fā)展。
更加需要產(chǎn)業(yè)力量來(lái)實(shí)現(xiàn)價(jià)值閉環(huán),以武漢高性能計(jì)算聯(lián)盟、全球計(jì)算聯(lián)盟為代表的產(chǎn)業(yè)組織,應(yīng)用聯(lián)合創(chuàng)新、學(xué)術(shù)界和產(chǎn)業(yè)界課題合作等一直在推進(jìn)。
HPC發(fā)展正在進(jìn)入新階段,新時(shí)代的集結(jié)號(hào)已經(jīng)吹響。
技術(shù)創(chuàng)新打造底層源動(dòng)力,共建生態(tài)推動(dòng)產(chǎn)業(yè)新發(fā)展
有底層技術(shù),有伙伴的共同努力,才有HPC在產(chǎn)業(yè)的持續(xù)繁榮。
華為在主題演講中提出了三位一體的HPC發(fā)展戰(zhàn)略,也即筑牢底座、共建生態(tài)、繁榮產(chǎn)業(yè)。
首先,要構(gòu)筑未來(lái)數(shù)字化應(yīng)用的堅(jiān)實(shí)HPC算力底座。
相對(duì)于其他任何技術(shù)領(lǐng)域,HPC都要更考驗(yàn)綜合化的力量。
這方面,華為基于鯤鵬全棧打造的高性能計(jì)算解決方案,涵蓋硬件使能、基礎(chǔ)軟件、應(yīng)用優(yōu)化等層次能力,全面囊括了HPC的各項(xiàng)要素需求。
在最基礎(chǔ)的硬件層,面向多樣性計(jì)算趨勢(shì),方案提供全場(chǎng)景液冷整機(jī)柜硬件平臺(tái)天成集群硬件,功率密度相比傳統(tǒng)風(fēng)冷機(jī)架提升了8倍,PUE小于1.15,充分釋放集群硬件性能,也兼顧系統(tǒng)能效比。
針對(duì)數(shù)據(jù)密集型高性能計(jì)算存儲(chǔ)需求,打造HPDA解決方案,支持大規(guī)模并發(fā)、實(shí)時(shí)分析、跨地域/跨集群數(shù)據(jù)共享與流動(dòng)。方案核心組成——數(shù)據(jù)加速引擎DataTurbo能聯(lián)接應(yīng)用與存儲(chǔ),提升50% HPDA數(shù)據(jù)處理效率,使數(shù)據(jù)調(diào)度效率提升3倍。
在網(wǎng)絡(luò)方面,華為推出超融合以太技術(shù),實(shí)現(xiàn)計(jì)算、存儲(chǔ)、業(yè)務(wù)三網(wǎng)融合,根據(jù)業(yè)務(wù)進(jìn)行動(dòng)態(tài)調(diào)度和差異化保障,實(shí)現(xiàn)算力有效釋放。還面向AI訓(xùn)練場(chǎng)景量身打造超融合以太NSLB網(wǎng)絡(luò)均衡技術(shù),實(shí)現(xiàn)AI訓(xùn)練場(chǎng)景下整網(wǎng)流量100%的均衡度和AI訓(xùn)練性能提升,更有DPFF故障無(wú)感自愈技術(shù)使得業(yè)務(wù)層面對(duì)故障無(wú)感知,提升高性能計(jì)算和存儲(chǔ)的計(jì)算效率。
在軟件方面,華為構(gòu)建了完整的高性能計(jì)算基礎(chǔ)軟件棧,不僅包含了openEuler操作系統(tǒng)、畢昇編譯器、鯤鵬數(shù)學(xué)庫(kù)及Hyper MPI通信庫(kù)等一系列基礎(chǔ)軟件,同時(shí)還包含了面向管理員的多瑙集群管理套件以及面向開(kāi)發(fā)者的Devkit鯤鵬開(kāi)發(fā)套件。
面對(duì)應(yīng)用側(cè)需求,華為投入了大量的領(lǐng)域?qū)<液陀脩暨M(jìn)行對(duì)接,更加關(guān)注直接影響應(yīng)用性能的實(shí)際技術(shù)指標(biāo)和計(jì)算中心的有效算力,通過(guò)全棧設(shè)計(jì)與優(yōu)化,打造HPC最優(yōu)應(yīng)用性能。
再有,是匯聚生態(tài)的力量。高性能計(jì)算技術(shù)尖深和復(fù)雜,意味著構(gòu)建新生態(tài)是一次極限探索。牢固底座只是第一步,構(gòu)建應(yīng)用軟件生態(tài)更為關(guān)鍵,而這必須依靠產(chǎn)業(yè)伙伴的共同努力。
華為通過(guò)開(kāi)源的模式,豐富和完善基礎(chǔ)軟件體系。一方面主動(dòng)開(kāi)源自身產(chǎn)品能力,涵蓋歐拉操作系統(tǒng)、畢昇編譯器、鯤鵬數(shù)學(xué)庫(kù)等HPC基礎(chǔ)軟件,另一方面持續(xù)貢獻(xiàn)HPC開(kāi)源社區(qū),共同建設(shè)ARM CI(持續(xù)集成)平臺(tái),使能開(kāi)源軟件源頭支持多樣性算力。得益于對(duì)開(kāi)源的持續(xù)投入,華為HPC已在氣象環(huán)境、生命科學(xué)、制造仿真等關(guān)鍵行業(yè)實(shí)現(xiàn)廣泛應(yīng)用,支持80%核心場(chǎng)景。
人才是引領(lǐng)生態(tài)發(fā)展的核心力量之一,華為推出多項(xiàng)計(jì)劃,包括鯤鵬展翅伙伴計(jì)劃、鯤鵬眾智計(jì)劃、鯤鵬科研創(chuàng)新使能計(jì)劃等,賦能產(chǎn)業(yè)伙伴。同時(shí)把相關(guān)的知識(shí)和經(jīng)驗(yàn),整合為培訓(xùn)課程,編撰成高校教材,培養(yǎng)專業(yè)人才,不斷發(fā)展和完善HPC的技術(shù)生態(tài),構(gòu)筑HPC人才根基。
產(chǎn)業(yè)共繁榮,開(kāi)創(chuàng)數(shù)字經(jīng)濟(jì)發(fā)展新未來(lái)
本次2022全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì)上,華為也分享了其HPC產(chǎn)業(yè)建設(shè)的進(jìn)展和思考,其中包括積極參與GCC開(kāi)放標(biāo)準(zhǔn)聯(lián)盟、武漢高性能計(jì)算產(chǎn)業(yè)聯(lián)盟等產(chǎn)業(yè)組織和平臺(tái)的建設(shè),形成生態(tài)合力,加速高性能計(jì)算的產(chǎn)業(yè)鏈構(gòu)建和產(chǎn)業(yè)全球化發(fā)展;通過(guò)設(shè)立高性能計(jì)算青年創(chuàng)新基金、向業(yè)界發(fā)布產(chǎn)業(yè)課題等方式,攜手產(chǎn)業(yè)伙伴共同探索和突破產(chǎn)業(yè)難題,呼吁加速與學(xué)術(shù)界的融合,促進(jìn)科研成果產(chǎn)業(yè)落地;聯(lián)合CCF以及其他產(chǎn)業(yè)伙伴共同合作發(fā)布產(chǎn)業(yè)白皮書(shū),旨在形成對(duì)于HPC技術(shù)和生態(tài)的共識(shí),助力共同繁榮高性能計(jì)算產(chǎn)業(yè)。
可預(yù)見(jiàn)的是,隨著算力底座的持續(xù)夯實(shí)、算力生態(tài)的穩(wěn)步發(fā)展、產(chǎn)業(yè)力量的不斷匯聚,高性能計(jì)算這顆“明珠”將閃亮出更璀璨的光芒,點(diǎn)亮數(shù)字化新未來(lái)。
*本文圖片均來(lái)源于網(wǎng)絡(luò)
*此內(nèi)容為【響鈴說(shuō)】原創(chuàng),未經(jīng)授權(quán),任何人不得以任何方式使用,包括轉(zhuǎn)載、摘編、復(fù)制或建立鏡像。
【完】
曾響鈴
1鈦媒體、品途、人人都是產(chǎn)品經(jīng)理等多家創(chuàng)投、科技網(wǎng)站年度十大作者;
2 虎嘯獎(jiǎng)評(píng)委;
3 作家:【移動(dòng)互聯(lián)網(wǎng)+ 新常態(tài)下的商業(yè)機(jī)會(huì)】等暢銷書(shū)作者;
4 《中國(guó)經(jīng)營(yíng)報(bào)》《商界》《商界評(píng)論》《銷售與市場(chǎng)》等近十家報(bào)刊、雜志特約評(píng)論員;
5 鈦媒體、36kr、虎嗅、界面、澎湃新聞等近80家專欄作者;
6 “腦藝人”(腦力手藝人)概念提出者,現(xiàn)演變?yōu)?ldquo;自媒體”,成為一個(gè)行業(yè);
7 騰訊全媒派榮譽(yù)導(dǎo)師、多家科技智能公司傳播顧問(wèn)。
申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!