2020年7月30日,“第四屆中國信息通信大數(shù)據(jù)大會”在京隆重召開,來自大數(shù)據(jù)行業(yè)的主管部委、院士專家以及來自華為、中國移動、中國電信、中國聯(lián)通、中興等國內(nèi)知名企業(yè)高管共聚一堂,就通信運營商大數(shù)據(jù)方向、5G及AI應用創(chuàng)新和未來發(fā)展趨勢帶來精彩分享。作為“掌握PB級核心處理技術(shù)”的大數(shù)據(jù)產(chǎn)品及解決方案供應商的廣州睿帆科技有限公司,由大數(shù)據(jù)科學家李求實博士代表出席了該峰會。會上,睿帆科技的高性能數(shù)據(jù)倉庫解決方案榮獲最佳創(chuàng)新方案獎。
在會后采訪中,李求實博士向記者講述了睿帆科技高性能數(shù)據(jù)倉庫解決方案的獨到之處,以及相比于其他競品的優(yōu)勢。
他提到,通信運營商實時采集信令數(shù)據(jù)、詳單數(shù)據(jù)、告警數(shù)據(jù)、故障數(shù)據(jù)、網(wǎng)絡資源數(shù)據(jù)等,每天的新增數(shù)據(jù)早已超過PB級。海量的數(shù)據(jù)意味著更高標準的數(shù)據(jù)分析業(yè)務,對于離線分析的時效、實時與近實時的即席實時交互分析,提出了更高的要求。
早些年在傳統(tǒng)離線數(shù)倉階段,通信運營商使用 Hive 作為大數(shù)據(jù)分析的主要工具,對 TB 至 PB 級的數(shù)據(jù)進行分析,但存在著以下的問題:
1. 時效性低
對于運營商業(yè)務來說,實時分析查詢?nèi)罩?、告警次?shù),告警時間等數(shù)據(jù),分析結(jié)果的價值取決于時效性。核心運維需求場景下,基于 Hive 的離線分析僅能滿足 T+1 的時效,對于實時故障分析的需求越來越強烈。
2. 易用性低
基于 Hive 離線數(shù)據(jù)分析平臺,對于產(chǎn)品、運營、市場人員具有較高的技術(shù)門檻,無法滿足自助的實時交互式分析需求;開發(fā)在上報和提取分析數(shù)據(jù)時,無法實時獲取和驗證結(jié)果,查詢和分析日志經(jīng)常需要幾個小時。
3. 效率低
不停的執(zhí)行交互式查詢,所以對實時性要求高,所以效率低。
在運營商做業(yè)務的數(shù)據(jù)分析模型時,需通過探索性數(shù)據(jù)分析去實時執(zhí)行交互式查詢,其對海量數(shù)據(jù)的實時性交互查詢速度要求高。通過Hive構(gòu)建的業(yè)務數(shù)據(jù)分析模型,響應時間長,分析結(jié)果不及時,嚴重影響和拖慢了進度。
為了應對以上問題,提升流程效率,提高數(shù)據(jù)分析處理的時效性和易用性,數(shù)據(jù)的即席分析和數(shù)據(jù)可視化能力支撐需要優(yōu)化和提升,讓問題秒級響應,分析更深入,睿帆科技基于其自主研發(fā)的數(shù)據(jù)庫產(chǎn)品——分布式分析型數(shù)據(jù)庫雪球DB,完成了高可用、低延遲的高性能數(shù)據(jù)倉庫解決方案,正好可以很好的解決這些問題。通過此方案可針對上千個節(jié)點的集群,日均新增PB 級以上的數(shù)據(jù)量,實現(xiàn)秒級的實時數(shù)據(jù)分析、提取、監(jiān)控數(shù)據(jù)基礎服務,大大提高了大數(shù)據(jù)分析與處理的工作效率。
同時,高性能數(shù)據(jù)倉庫解決方案適用于PB級以上超大規(guī)模數(shù)據(jù)的實時寫入、實時讀取的OLAP 應用場景,查詢速度較Presto、SparkSQL提升3-6倍,較Hive提升30-100倍。對比 Presto、SparkSQL、Hive等數(shù)據(jù)庫,其具備高可靠的分布式MPP集群架構(gòu),使其可以多切片寫入,完成線性擴展等。
此外,在OLAP場景中讀多于寫且經(jīng)常存在多列的大寬表,列數(shù)可以高達數(shù)百甚至數(shù)千列。“為此,我們特地采用列式存儲和向量化執(zhí)行的方式來解決,極大的減低了IO 的消耗,加速了查詢,也縮短了計算耗時。這讓我們的技術(shù)優(yōu)勢更為突出。”李求實博士表示。
一直以來,硬核的技術(shù)以及貼合用戶需求的創(chuàng)新性解決方案是睿帆科技的立身之本。此次睿帆科技高性能數(shù)據(jù)倉庫解決方案榮獲2020中國信息通信大數(shù)據(jù)最佳創(chuàng)新方案獎,標志著通信運營商行業(yè)對于睿帆科技的更高認可。未來,睿帆科技將再接再厲繼續(xù)深耕通信運營商行業(yè)的同時,把更多優(yōu)秀的產(chǎn)品解決方案帶到更多的行業(yè)中,助力更多的企業(yè)實現(xiàn)高效、低成本的數(shù)字化轉(zhuǎn)型。
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!
日前,北京佳格天地科技有限公司與農(nóng)業(yè)農(nóng)村部大數(shù)據(jù)發(fā)展中心簽訂聯(lián)合實驗室協(xié)議。雙方將充分利用遙感、AI等技術(shù),以及人才隊伍、技術(shù)產(chǎn)品等優(yōu)質(zhì)資源,開展農(nóng)業(yè)農(nóng)村領域相關基礎模型、作物農(nóng)情遙感監(jiān)測產(chǎn)品及農(nóng)業(yè)氣象服務等方面的合作研究。
日前,2022世界數(shù)字農(nóng)業(yè)大會舉行。大會以“種鑄強芯,數(shù)領未來”為主題,開設多場數(shù)字農(nóng)業(yè)云端專題論壇,北京佳格天地科技有限公司受邀出席”農(nóng)業(yè)農(nóng)村大數(shù)據(jù)應用論壇“,同與會嘉賓分享了農(nóng)業(yè)大數(shù)據(jù)的創(chuàng)新應用。
毫無疑問,隨著以Kubernetes為代表的云原生技術(shù)得到廣泛應用和普及,云原生數(shù)據(jù)量和重要性不斷提高,使得企業(yè)對云原生數(shù)據(jù)庫服務的需求日漸增長。
近期,由中國工業(yè)設計協(xié)會、中國技術(shù)交易所雙重指導,UXPA中國主辦的2022年第六屆GXA好體驗獎評選結(jié)果揭曉,元年科技憑借元年數(shù)據(jù)智能管理平臺榮獲“最佳企業(yè)賦能獎”,該獎項旨在挖掘當代杰出用戶體驗作品,表彰利用創(chuàng)新思維、堅持以用戶體驗為中心的企業(yè),填補了國內(nèi)專業(yè)級別用戶體驗社會化獎項的空白。
近日,秦淮數(shù)據(jù)集團位于馬來西亞柔佛州的秦淮數(shù)據(jù)馬來柔佛超大規(guī)模數(shù)據(jù)中心(以下簡稱“MY06”)一期盛大開園。從規(guī)劃、設計到建造,秦淮數(shù)據(jù)集團中國、新加坡、馬來西亞三地團隊緊密合作,共同完成馬來西亞最大的國際超大規(guī)模數(shù)據(jù)中心交付
把脈中國數(shù)據(jù)智能化
2023年,幾乎可以被定義為中國互聯(lián)網(wǎng)公司的“大模型元年”。ChatGPT的全球爆紅,徹底點燃國內(nèi)的大模型賽道,曾經(jīng)的“創(chuàng)業(yè)英雄”、如今的商業(yè)領袖們親自下場,接連發(fā)布生成式人工智能產(chǎn)品與大模型布局。大模型火了,沉寂許久的互聯(lián)網(wǎng)行業(yè)又有了新的“戰(zhàn)事”。同時,大模型的快速發(fā)展也改變了云市場的現(xiàn)狀,企業(yè)對
近日,數(shù)字化市場研究咨詢機構(gòu)愛分析發(fā)布了《2022愛分析·數(shù)據(jù)智能廠商全景報告》,愛分析從技術(shù)研發(fā)能力、服務客戶數(shù)量、收入規(guī)模等維度對廠商進行了全面專業(yè)的評估
2022年11月18日,首個國家級大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新賽事——2022第一屆中國大數(shù)據(jù)大賽圓滿落幕。工業(yè)和信息化部信息技術(shù)發(fā)展司數(shù)字經(jīng)濟推進處處長張建倫,中國電子技術(shù)標準化研究院副院長孫文龍出席頒獎典禮并致辭
2022年11月17日,在廈門市工業(yè)和信息化局的指導下,以“數(shù)據(jù)確權(quán)”為主題的2022數(shù)據(jù)資產(chǎn)(廈門)論壇在廈門成功舉辦。本次論壇以“數(shù)據(jù)確權(quán)”為主題,由廈門市互聯(lián)網(wǎng)域名應用服務產(chǎn)業(yè)協(xié)會和構(gòu)信網(wǎng)(公信.中國)聯(lián)合主辦
近日,國內(nèi)知名數(shù)字化市場研究咨詢機構(gòu)愛分析正式發(fā)布《2022愛分析·信創(chuàng)廠商全景報告》(以下簡稱“報告”)。報告綜合考慮企業(yè)關注度、行業(yè)落地進展等因素,遴選出在信創(chuàng)市場中具備成熟解決方案和落地能力的廠商。
10月31日下午,由數(shù)博會執(zhí)委會主辦、數(shù)據(jù)觀(北京)傳媒科技有限公司承辦、貴陽大數(shù)據(jù)交易所協(xié)辦的第四期數(shù)博思享會“實踐先行觀公共數(shù)據(jù)價值與應用”活動成功舉辦。
近日,由中國國際數(shù)字經(jīng)濟博覽會組委會主辦,中國電子技術(shù)標準化研究院、河北省工業(yè)和信息化廳承辦的“第一屆中國大數(shù)據(jù)大賽”(簡稱大數(shù)據(jù)大賽)正式啟動。
廣州光點信息科技有限公司自主研發(fā)的數(shù)據(jù)中臺產(chǎn)品GI大數(shù)據(jù)中臺V2.0產(chǎn)品是國內(nèi)率先推出符合新創(chuàng)標準的中臺產(chǎn)品,基于“大數(shù)據(jù)+AI”等技術(shù)全新打造,集數(shù)據(jù)采集、融合、治理、服務、管理為一體的旗艦平臺。
廣州光點信息科技有限公司自主研發(fā)的數(shù)據(jù)中臺產(chǎn)品GI大數(shù)據(jù)中臺V2.0產(chǎn)品是國內(nèi)率先推出符合新創(chuàng)標準的中臺產(chǎn)品,基于“大數(shù)據(jù)+AI”等技術(shù)全新打造,集數(shù)據(jù)采集、融合、治理、服務、管理為一體的旗艦平臺