1. 創(chuàng)業(yè)頭條
  2. 前沿領域
  3. 大數(shù)據(jù)
  4. 正文

睿帆科技數(shù)倉解決方案,榮獲2020中國信通會大數(shù)據(jù)最佳創(chuàng)新方案獎

 2020-07-31 08:11  來源:互聯(lián)網(wǎng)  我來投稿 撤稿糾錯

  域名預訂/競價,好“米”不錯過

2020年7月30日,“第四屆中國信息通信大數(shù)據(jù)大會”在京隆重召開,來自大數(shù)據(jù)行業(yè)的主管部委、院士專家以及來自華為、中國移動、中國電信、中國聯(lián)通、中興等國內(nèi)知名企業(yè)高管共聚一堂,就通信運營商大數(shù)據(jù)方向、5G及AI應用創(chuàng)新和未來發(fā)展趨勢帶來精彩分享。作為“掌握PB級核心處理技術(shù)”的大數(shù)據(jù)產(chǎn)品及解決方案供應商的廣州睿帆科技有限公司,由大數(shù)據(jù)科學家李求實博士代表出席了該峰會。會上,睿帆科技的高性能數(shù)據(jù)倉庫解決方案榮獲最佳創(chuàng)新方案獎。

在會后采訪中,李求實博士向記者講述了睿帆科技高性能數(shù)據(jù)倉庫解決方案的獨到之處,以及相比于其他競品的優(yōu)勢。

他提到,通信運營商實時采集信令數(shù)據(jù)、詳單數(shù)據(jù)、告警數(shù)據(jù)、故障數(shù)據(jù)、網(wǎng)絡資源數(shù)據(jù)等,每天的新增數(shù)據(jù)早已超過PB級。海量的數(shù)據(jù)意味著更高標準的數(shù)據(jù)分析業(yè)務,對于離線分析的時效、實時與近實時的即席實時交互分析,提出了更高的要求。

早些年在傳統(tǒng)離線數(shù)倉階段,通信運營商使用 Hive 作為大數(shù)據(jù)分析的主要工具,對 TB 至 PB 級的數(shù)據(jù)進行分析,但存在著以下的問題:

1. 時效性低

對于運營商業(yè)務來說,實時分析查詢?nèi)罩?、告警次?shù),告警時間等數(shù)據(jù),分析結(jié)果的價值取決于時效性。核心運維需求場景下,基于 Hive 的離線分析僅能滿足 T+1 的時效,對于實時故障分析的需求越來越強烈。

2. 易用性低

基于 Hive 離線數(shù)據(jù)分析平臺,對于產(chǎn)品、運營、市場人員具有較高的技術(shù)門檻,無法滿足自助的實時交互式分析需求;開發(fā)在上報和提取分析數(shù)據(jù)時,無法實時獲取和驗證結(jié)果,查詢和分析日志經(jīng)常需要幾個小時。

3. 效率低

不停的執(zhí)行交互式查詢,所以對實時性要求高,所以效率低。

在運營商做業(yè)務的數(shù)據(jù)分析模型時,需通過探索性數(shù)據(jù)分析去實時執(zhí)行交互式查詢,其對海量數(shù)據(jù)的實時性交互查詢速度要求高。通過Hive構(gòu)建的業(yè)務數(shù)據(jù)分析模型,響應時間長,分析結(jié)果不及時,嚴重影響和拖慢了進度。

為了應對以上問題,提升流程效率,提高數(shù)據(jù)分析處理的時效性和易用性,數(shù)據(jù)的即席分析和數(shù)據(jù)可視化能力支撐需要優(yōu)化和提升,讓問題秒級響應,分析更深入,睿帆科技基于其自主研發(fā)的數(shù)據(jù)庫產(chǎn)品——分布式分析型數(shù)據(jù)庫雪球DB,完成了高可用、低延遲的高性能數(shù)據(jù)倉庫解決方案,正好可以很好的解決這些問題。通過此方案可針對上千個節(jié)點的集群,日均新增PB 級以上的數(shù)據(jù)量,實現(xiàn)秒級的實時數(shù)據(jù)分析、提取、監(jiān)控數(shù)據(jù)基礎服務,大大提高了大數(shù)據(jù)分析與處理的工作效率。

同時,高性能數(shù)據(jù)倉庫解決方案適用于PB級以上超大規(guī)模數(shù)據(jù)的實時寫入、實時讀取的OLAP 應用場景,查詢速度較Presto、SparkSQL提升3-6倍,較Hive提升30-100倍。對比 Presto、SparkSQL、Hive等數(shù)據(jù)庫,其具備高可靠的分布式MPP集群架構(gòu),使其可以多切片寫入,完成線性擴展等。

此外,在OLAP場景中讀多于寫且經(jīng)常存在多列的大寬表,列數(shù)可以高達數(shù)百甚至數(shù)千列。“為此,我們特地采用列式存儲和向量化執(zhí)行的方式來解決,極大的減低了IO 的消耗,加速了查詢,也縮短了計算耗時。這讓我們的技術(shù)優(yōu)勢更為突出。”李求實博士表示。

一直以來,硬核的技術(shù)以及貼合用戶需求的創(chuàng)新性解決方案是睿帆科技的立身之本。此次睿帆科技高性能數(shù)據(jù)倉庫解決方案榮獲2020中國信息通信大數(shù)據(jù)最佳創(chuàng)新方案獎,標志著通信運營商行業(yè)對于睿帆科技的更高認可。未來,睿帆科技將再接再厲繼續(xù)深耕通信運營商行業(yè)的同時,把更多優(yōu)秀的產(chǎn)品解決方案帶到更多的行業(yè)中,助力更多的企業(yè)實現(xiàn)高效、低成本的數(shù)字化轉(zhuǎn)型。

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!

相關文章