當(dāng)前位置:首頁 >  科技 >  IT業(yè)界 >  正文

創(chuàng)新存儲架構(gòu)突破IPFS算力瓶頸 西部數(shù)據(jù)的這些技術(shù)探索

 2021-04-19 10:31  來源: 互聯(lián)網(wǎng)   我來投稿 撤稿糾錯

  域名預(yù)訂/競價,好“米”不錯過

隨著疫情的平穩(wěn),2021年CITE也于上周五在中國創(chuàng)新之都深圳的國家會展中心,拉開了序幕。在歷經(jīng)了罕見的全球化疫情侵?jǐn)_后,數(shù)據(jù)的價值進(jìn)一步被放大,在大數(shù)據(jù)的強(qiáng)大算力支持下,智慧醫(yī)療,AI配送,在線教育,云監(jiān)管等一系列,基于數(shù)據(jù)存儲的業(yè)務(wù)在疫情之下實(shí)現(xiàn)了爆發(fā)性的增長,也讓越來越多的從業(yè)者意識到數(shù)據(jù)的真正意義。

在此背景下,來自全球的各大數(shù)據(jù)存儲大廠集結(jié)深圳CITE,共同出席了深圳國際大數(shù)據(jù)與存儲峰會,并分享了它們對于大數(shù)據(jù)和存儲產(chǎn)業(yè)的行業(yè)發(fā)展和產(chǎn)業(yè)動態(tài)。作為數(shù)據(jù)基礎(chǔ)架構(gòu)提供商的西部數(shù)據(jù),此次也攜眾多合作伙伴共同出席此次峰會,同時,西部數(shù)據(jù)副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼先生,發(fā)表了《創(chuàng)新存儲架構(gòu) 突破IPFS算力瓶頸》的主題演講,引發(fā)行業(yè)熱議。

<西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼>

01 迭代存儲架構(gòu) 高效存儲數(shù)據(jù)撬動數(shù)字經(jīng)濟(jì)新動能

劉鋼先生一上臺,便以一組數(shù)據(jù)作為引子,與在場的觀眾分享了當(dāng)下和未來大數(shù)據(jù)存儲的發(fā)展趨勢。

通過數(shù)據(jù)表格,可以發(fā)現(xiàn)幾個有趣的現(xiàn)象,在HDD方面,“在2024年的時候,以HDD為代表的大數(shù)據(jù)預(yù)計將增長到1.62ZB,那從現(xiàn)在開始到2024年,年化增長率在30%左右”,“而在SSD為代表的快數(shù)據(jù)方面,2024年快數(shù)據(jù)存儲預(yù)計將達(dá)到333EB,年化增長率幾乎接近50%”,這表明在絕對增長上,無論是大數(shù)據(jù)還是快數(shù)據(jù),都有著相當(dāng)?shù)幕盍蜐摿Α?/p>

<西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼>

而每年產(chǎn)生如此多堪比石油、黃金的數(shù)據(jù),又有多少被安全高效的存儲了呢?答案是大概1.5%,“因?yàn)樵?024年產(chǎn)生的數(shù)據(jù)有143個ZB,大數(shù)據(jù)只存入了1.62個ZB,快數(shù)據(jù)333個EB(0.333ZB),所以加在一起也小于當(dāng)年產(chǎn)生的數(shù)據(jù)的1.5%。”

那么剩余的超過98%的數(shù)據(jù)為何無法被安全高效存儲呢?原因在于存儲架構(gòu)的老舊和存儲技術(shù)的落后,劉鋼先生表示,我們需要創(chuàng)新存儲架構(gòu),為更多海量的數(shù)據(jù)進(jìn)行存儲、挖掘和分析,唯有如此,才能更好的利用數(shù)據(jù),撬動數(shù)據(jù)經(jīng)濟(jì)的新動能。

02 去中心化的IPFS架構(gòu)降低存儲成本 創(chuàng)新存儲架構(gòu)

面對新興的存儲需求,存儲架構(gòu)的迭代和創(chuàng)新也面臨的諸多的挑戰(zhàn),劉鋼先生總結(jié)到,“創(chuàng)新存儲架構(gòu)的挑戰(zhàn)總結(jié)來說就是用戶既需要大容量、也需要快速訪問、又需要低成本、還需要低功耗。那么有沒有一個存儲設(shè)備或者一種存儲介質(zhì)能夠同時滿足這四個方面的需求?”

實(shí)際上,幾乎很難從存儲設(shè)備或存儲介質(zhì)方面,找到能夠滿足這四個方面需求的完美解決方案??僧?dāng)你從部分的存儲設(shè)備和介質(zhì)中剝離開來,回到整體或系統(tǒng)化的進(jìn)行存儲架構(gòu)的創(chuàng)新時,就會發(fā)現(xiàn)這個棘手的問題,有了解決的可能。

其中,以去中心化為特點(diǎn)的IPFS存儲架構(gòu),相較于傳統(tǒng)的中心化思路的云存儲服務(wù)商,能夠顯著的節(jié)省它們的服務(wù)提供成本,進(jìn)而降低整體系統(tǒng)的存儲成本。

03大數(shù)據(jù)存儲解決方案:企業(yè)級高密度的HDD

接下來,劉鋼從傳統(tǒng)大數(shù)據(jù)存儲和新興的快數(shù)據(jù)存儲兩個方面,為在場的行業(yè)同仁分享了西部數(shù)據(jù)進(jìn)行的一些技術(shù)探索。

在分享技術(shù)探索之前,劉鋼也引入了一個新的概念和理解,他表示,“數(shù)據(jù)是有價值的,同時數(shù)據(jù)也是有分層的,我們把它簡單分成五層,有極熱數(shù)據(jù)、熱數(shù)據(jù)、溫數(shù)據(jù)、冷數(shù)據(jù)和極冷數(shù)據(jù)。”

根據(jù)數(shù)據(jù)分層不同,數(shù)據(jù)延遲,應(yīng)用場景和成本制造也有著明顯的區(qū)別,就以大數(shù)據(jù)存儲而言,基于其少量寫入、大量讀取、大量數(shù)據(jù)的應(yīng)用特性,西部數(shù)據(jù)將其歸為極冷數(shù)據(jù)和冷數(shù)據(jù)類別,并為其提供了業(yè)界單碟最高2.2TB,總?cè)萘窟_(dá)20TB的Ultrastar DC HC650,這是一款定位于極冷數(shù)據(jù)的SMR HDD,更低的TCO&Watt/TB,更小的體積,能夠極大的節(jié)省大數(shù)據(jù)存儲的采購和運(yùn)維成本。

當(dāng)然,對于HDD有著一定性能需求的數(shù)據(jù)中心,西部數(shù)據(jù)也提供了性能更強(qiáng),存儲容量依舊夸張的Ultrastar DC HC550,這款HDD,采用的是CMR架構(gòu),并通過三級磁臂設(shè)計,進(jìn)一步提高硬盤性能,同時在容量方面,也達(dá)到了18TB,能夠滿足以IPFS為代表的眾多服務(wù)商的存儲需求。

無論是18TB還是20TB,西部數(shù)據(jù)提供的更大容量單盤HDD,能夠顯著的提升單位功耗,降低服務(wù)器基準(zhǔn)成本以及服務(wù)器總體擁有成本,也被包括DropBox在內(nèi)的云服務(wù)商率先進(jìn)行了驗(yàn)證和適用。

<峰會現(xiàn)場西部數(shù)據(jù)展臺>

04 快數(shù)據(jù)存儲解決方案:閃存優(yōu)勢+縱向集成

至于在以SSD為核心,追求高性能計算的密集型工作負(fù)載,或是主流的讀寫均衡混合型的工作負(fù)載,西部數(shù)據(jù)依舊有一系列針對性解決方案。

無論是密集型或是均衡混合型,其背后都需要高性能SSD進(jìn)行硬件支撐。而西部數(shù)據(jù)在SSD領(lǐng)域擁有著多年的研發(fā)經(jīng)驗(yàn)和深厚的技術(shù)積累。

首先是關(guān)于SSD中NAND閃存產(chǎn)量方面,SSD的成本核心在于NAND閃存,而西部數(shù)據(jù)作為全球領(lǐng)先的NAND原廠,和合作伙伴鎧俠一同占據(jù)全球三分之一的原廠份額,同時西部數(shù)據(jù)擁有穩(wěn)固的NAND產(chǎn)業(yè)領(lǐng)導(dǎo)力,以及固定的NAND技術(shù)投資承諾,使得它能夠在NAND閃存的制造和產(chǎn)能方面有著絕對話語權(quán)。

其次在閃存技術(shù)方面,劉鋼先生表示,“我們剛剛發(fā)布了第6代3D閃存技術(shù),162層的3D閃存技術(shù),會進(jìn)一步地縮小芯片的尺寸,降低成本、提高性能。它的程序性能可以提高兩倍以上,輸入輸出的IOPS提高約66%”,隨著第六代3D閃存的問世,西部數(shù)據(jù)將繼續(xù)保持在NAND領(lǐng)域的領(lǐng)導(dǎo)地位。

最后,更為關(guān)鍵的是縱向集成優(yōu)勢,SSD作為一個高度集成化的產(chǎn)物,不僅需要各個組件的高質(zhì)高性能,更需要有優(yōu)秀和可靠校正和優(yōu)化,進(jìn)而發(fā)揮所有組件的潛能。而西部數(shù)據(jù)集成了完全自主的NAND顆粒,SSD主控器以及固件于一體,能夠輕松完成產(chǎn)品的校正和優(yōu)化,進(jìn)一步提升SSD產(chǎn)品的性能和穩(wěn)定性。

因而,無論是針對讀寫均衡的混合工作負(fù)載還是密集型工作負(fù)載,西部數(shù)據(jù)都有能力匹配和提供相應(yīng)的SSD,以滿足客戶需求。

05 IPFS存儲創(chuàng)新解決方案以及合作伙伴的解讀

如果將上述的存儲技術(shù)和存儲架構(gòu)應(yīng)用到IPFS領(lǐng)域,又能產(chǎn)生哪些新應(yīng)用呢?劉鋼分享到,“目前IPFS服務(wù)商的存儲痛點(diǎn),主要有數(shù)據(jù)吞吐量低、空間利用率低、難擴(kuò)容、總體擁有成本高、運(yùn)維低效以及故障懲罰高等,但是通過西部數(shù)據(jù)提供的一系列存儲新架構(gòu)和存儲新產(chǎn)品,能夠針對性解決上述諸多問題。”

劉鋼再次分享和推薦了,和西部數(shù)據(jù)共同建展的諸多IPFS合作伙伴,并通過它們的案例為在場從業(yè)者,提供了相應(yīng)的IPFS的存儲解決思路。

首先是西部數(shù)據(jù)、星辰天合、浪潮聯(lián)合推出的IPFS解決方案,通過部署西部數(shù)據(jù)Ultrastar DC HC550 18TB硬盤,顯著提高了的存儲容量,同時降低集群的節(jié)點(diǎn)數(shù)量,節(jié)省能耗、機(jī)柜空間等相應(yīng)成本;

其次則是西部數(shù)據(jù)與杉巖數(shù)據(jù)攜手賦能IPFS存儲,西部數(shù)據(jù)與杉巖數(shù)據(jù)聯(lián)合推出了融合了杉巖 MOS海量對象存儲系,Ultrastar DC SN840/640、Ultrastar DC HC550和JBOD存儲平臺的 IPFS解決方案。通過構(gòu)建高性能、大容量、低成本、簡運(yùn)維的存儲方案,極大的降低IPFS業(yè)務(wù)的總體擁有成本,全面提升經(jīng)濟(jì)效益。

< 西部數(shù)據(jù)Ultrastar DC SN840 NVMe SSD和西部數(shù)據(jù)Ultrastar DC HC550 18TB HDD>

最后,西部數(shù)據(jù)還攜手長城超云打造了IPFS“新范式”,以及牽手靈動公司,提供西部數(shù)據(jù)的存儲解決方案,進(jìn)一步提升用戶效應(yīng)。

“所以總結(jié)來講,針對Web3.0或者IPFS的基礎(chǔ)設(shè)施架構(gòu),針對它的存儲集群,我們有高密度的磁盤擴(kuò)展柜、大容量的18T硬盤,還有Ultrastar DC SN640 NVMe SSD來作為緩存。

針對它的計算集群,我們有Ultrastar DC SN640 NVMe SSD,還有Ultrastar DC SN840 NVMe SSD寫密集型的SSD。”

劉鋼在整個主題演講的末尾做了總結(jié),西部數(shù)據(jù)能為廣大的用戶群體提供的各種不同需求的存儲解決方案。同時,西部數(shù)據(jù)也能夠就IPFS的計算和存儲優(yōu)化,進(jìn)行更多的技術(shù)合作,共同推動未來數(shù)據(jù)存儲架構(gòu)的激活和發(fā)展。

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
數(shù)據(jù)存儲
西部數(shù)碼

相關(guān)文章

  • 鵬云網(wǎng)絡(luò)分布式塊存儲社區(qū)版問世,首發(fā)開源存儲解決方案

    2023年1月,南京鵬云網(wǎng)絡(luò)科技有限公司(簡稱:鵬云網(wǎng)絡(luò))正式宣布開源ZettaStorDBS分布式塊存儲系統(tǒng),開放了自研10余年的分布式塊存儲技術(shù),自此踏上了“自研”與“開源”一體并行的生態(tài)閉環(huán)之路。研發(fā)十年,挑戰(zhàn)塊存技術(shù)上限成本、效率、高可用,一直都是企業(yè)IT系統(tǒng)建設(shè)所追求的重要關(guān)鍵點(diǎn),這三點(diǎn)在

    標(biāo)簽:
    數(shù)據(jù)存儲
  • “效能再進(jìn)化,數(shù)據(jù)更安全”威聯(lián)通舉行QTS 5.1.0及次世代NAS發(fā)布會

    2023年5月9日,以“效能再進(jìn)化,數(shù)據(jù)更安全”為主題,威聯(lián)通2023年新品發(fā)布會在上海隆重舉行,多家媒體、合作伙伴及威聯(lián)通愛好者蒞臨現(xiàn)場,共同見證NAS網(wǎng)絡(luò)存儲行業(yè)朝向更高品質(zhì)、更強(qiáng)性能、更好安全性的再次啟航。威聯(lián)通QTS5.1.0系統(tǒng)發(fā)布時下,網(wǎng)絡(luò)存儲行業(yè)已從萌芽時代步入增速發(fā)展關(guān)鍵期,用戶對數(shù)

    標(biāo)簽:
    數(shù)據(jù)存儲
  • 面向海量非結(jié)構(gòu)化數(shù)據(jù)存儲,QingStor U10000幫助企業(yè)解鎖數(shù)據(jù)價值

    隨著經(jīng)濟(jì)社會數(shù)字化轉(zhuǎn)型的加速,各行各業(yè)產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)持續(xù)呈現(xiàn)井噴增長態(tài)勢。而為了科學(xué)高效地利用這些非結(jié)構(gòu)化數(shù)據(jù),為企業(yè)加速數(shù)字化轉(zhuǎn)型打牢基礎(chǔ),在實(shí)現(xiàn)數(shù)據(jù)穩(wěn)定、專業(yè)的存儲的前提下,推動數(shù)據(jù)的合理流動是關(guān)鍵。作為業(yè)內(nèi)技術(shù)領(lǐng)先的企業(yè)級云服務(wù)商與數(shù)字化解決方案提供商,青云科技(qingcloud.com

    標(biāo)簽:
    數(shù)據(jù)存儲
  • 得一微對話Arm,打造計算型存儲新生態(tài)

    高可靠存儲控制芯片、高端汽車存儲芯片等領(lǐng)域都已成為備受矚目的黃金賽道,被持續(xù)加大研發(fā)投入,頗受市場認(rèn)可。在這樣的市場背景下,得一微電子CEO吳大畏與Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健展開生態(tài)對話,圍繞存儲控制技術(shù)及應(yīng)用市場展開了探討,雙方將在ComputationalStorage計算存儲領(lǐng)域芯片

    標(biāo)簽:
    數(shù)據(jù)存儲
  • 百代可信OSS引領(lǐng)國產(chǎn)存儲技術(shù)新革命!

    近期互聯(lián)網(wǎng)圈頂流“ChatGPT”憑借著“天上文曲星”般的智能表現(xiàn)火速破圈,在諸如內(nèi)容生成、搜索引擎優(yōu)化、智能問答等領(lǐng)域展現(xiàn)出了巨大潛力,引發(fā)了人工智能領(lǐng)域的新一輪技術(shù)升級與產(chǎn)業(yè)重塑,一個AI大規(guī)模商業(yè)化的時代正悄然來臨。AI大規(guī)模商業(yè)化時代背景,勢必伴隨著背后海量級的數(shù)據(jù)存儲,數(shù)據(jù)就是一切,是支撐

    標(biāo)簽:
    數(shù)據(jù)存儲

熱門排行

信息推薦