一直以來,Smartbi回饋用戶的最好方式是提供更好的產(chǎn)品和更好的服務(wù)。V9作為Smartbi最新發(fā)布的版本,眾多實用功能就是從用戶的實際情況出發(fā),急用戶之所急,想用戶之所想。從今天開始,小麥會用系列文章和大家一起分享。本期介紹V9在【數(shù)據(jù)準備】方面的一些新功能亮點。
分批次和多線程并發(fā),提高數(shù)據(jù)抽取效率
之前的Smartbi版本,數(shù)據(jù)抽取存在以下兩種情況:
1、一次性將所有數(shù)據(jù)從數(shù)據(jù)庫寫入到緩存庫中,在數(shù)據(jù)量較大的情況下,會出現(xiàn)占用內(nèi)存太大的問題。V9支持分批次將數(shù)據(jù)寫入到緩存庫中,既能保證查詢速度又避免占用太大內(nèi)存,達到最高效率;
2、當抽取億級數(shù)據(jù)量時,如果為單線程抽取,容易出現(xiàn)抽取緩慢,抽取不成功甚至環(huán)境崩潰的情況。V9增加多線程并發(fā)抽取,在用戶抽取較大數(shù)據(jù)量時,可設(shè)置多線程并發(fā)抽取。以Smartbi從MPP抽取1億條數(shù)據(jù)為例,單線程抽取需要耗時2.5小時,設(shè)置10個線程進行抽取時,僅需48分鐘,速度提升了3倍。
支持各種數(shù)據(jù)集的增量抽取,避免資源浪費
之前的版本,只有自助數(shù)據(jù)集支持增量抽取。V9除了自助數(shù)據(jù)集,對可視化數(shù)據(jù)集、原生SQL數(shù)據(jù)集、SQL數(shù)據(jù)集、存儲過程數(shù)據(jù)集、Java數(shù)據(jù)集等也支持增量抽取。在“抽取設(shè)置界面”中的“增量抽取按時間戳”選項可進行設(shè)置。
支持MPP集群抽取,適用性進一步增強
當高速緩存庫連接的驅(qū)動程序類型是“SmartbiMPP”時,V9支持集群抽取。在“抽取設(shè)置”界面增加“高級設(shè)置”,對“分區(qū)字段”和“分區(qū)類型”進行設(shè)置。其中,分區(qū)字段要求為日期類型。
支持自定義表名,查找更加直觀
之前的版本,數(shù)據(jù)集和即席查詢抽取保存在高速緩存庫的表,默認以“數(shù)據(jù)集ID”作為表名稱,“數(shù)據(jù)集名稱”作為表別名,在數(shù)據(jù)庫查看表時,以數(shù)據(jù)集ID作為表名稱,不利于用戶直觀查找需要的表。V9支持數(shù)據(jù)集和即席查詢抽取保存在高速緩存庫的表自定義表名。
時間管理增加維度,滿足各種統(tǒng)計周期
業(yè)務(wù)人員經(jīng)常需要做統(tǒng)計分析報表,如月匯報、周匯報等。為了滿足更多維度的統(tǒng)計分析,V9維度管理增加支持“半年”“旬”“周”。 其中,“半年”的顯示格式為:上半年、下半年;“旬”為:上、中、下;“周”為:Www(W不變,就是一個字母,ww標識第幾周,如2019年第一周為:2019-W01。
提供標準函數(shù)檢驗,減少數(shù)據(jù)抽取報錯
之前的版本自助數(shù)據(jù)集計算字段支持的函數(shù)是根據(jù)其所屬數(shù)據(jù)庫類型決定的,這種方式會存在函數(shù)不兼容的問題,導(dǎo)致在抽取時報SQL錯誤。針對這一弊端,也結(jié)合產(chǎn)品的使用,V9基于SQL92為標準,封裝一套Smartbi自身的函數(shù)語法,用于適配Smartbi所支持的數(shù)據(jù)庫,校驗輸入的函數(shù)是否在提供的函數(shù)列表中。如果函數(shù)不在函數(shù)列表中,則會提示該函數(shù)不是標準函數(shù)庫語法,在其他數(shù)據(jù)庫可能無法使用。
除了以上介紹的新功能點,Smartbi V9在【數(shù)據(jù)準備】方面還有很多小優(yōu)化。如自助數(shù)據(jù)集的數(shù)據(jù)來源為“hana數(shù)據(jù)源”時,自助數(shù)據(jù)集支持其所帶參數(shù);增加“多維數(shù)據(jù)集”作為自助數(shù)據(jù)集的數(shù)據(jù)來源;數(shù)據(jù)集的抽取日志采取分頁加載等等,大家有興趣可以登錄V9體驗中心進行試用,親自感受V9的全新UI、全新功能。
V9體驗中心:PC登錄官網(wǎng)->體驗中心
概括如下:
1、 分批次讀數(shù)據(jù)和多線程并發(fā)抽取
2、 支持各種數(shù)據(jù)集的增量抽取
3、 支持MPP集群抽取
4、 抽取支持自定義表名
5、 時間維度管理增加“半年”“旬”“周”
6、 提供標準函數(shù)檢驗
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!
2023年6月1日至4日,第三屆全國生物相分離和相變學(xué)術(shù)研討會暨中國生物物理學(xué)會生物大分子相分離與相變分會年會在上海成功舉辦,榮聯(lián)科技集團攜冷凍電鏡數(shù)據(jù)分析整體解決方案亮相活動,云生數(shù)據(jù)副總經(jīng)理田鳳進行了精彩的報告分享。本次盛會由中國生物物理學(xué)會生物大分子相分離與相變分會主辦,中國科學(xué)院上海有機化學(xué)
中國經(jīng)濟周刊-經(jīng)濟網(wǎng)訊(記者宋杰)4月27日,第六屆數(shù)字中國建設(shè)峰會在福州開幕,同期舉行的還有數(shù)字中國建設(shè)成果展覽會,本屆峰會以“加快數(shù)字中國建設(shè),推進中國式現(xiàn)代化”為主題,集中展示數(shù)字中國建設(shè)最新成果和優(yōu)秀實踐案例,分享發(fā)展經(jīng)驗。其中,作為央企中國電科集團旗下的數(shù)據(jù)庫國家隊,人大金倉今年展出面積從
如今,諸多企業(yè)開始進入數(shù)據(jù)應(yīng)用階段,開始追求數(shù)據(jù)對業(yè)務(wù)的實質(zhì)性提升。然而,一些企業(yè)雖然認識到了數(shù)據(jù)的價值,卻由于缺乏一套高效好用的數(shù)據(jù)分析工具,導(dǎo)致數(shù)據(jù)應(yīng)用效果并不理想。在一些企業(yè)中,尤其是中小企業(yè),由于缺乏預(yù)算,仍然在使用Excel等傳統(tǒng)工具進行數(shù)據(jù)分析和可視化展現(xiàn),需要手動整合和處理數(shù)據(jù),耗時耗
數(shù)據(jù)收集的操作行為受到越來越多的關(guān)注,也變得越來越復(fù)雜。網(wǎng)絡(luò)抓取以及自動獲取過程總體來說極大地改變了數(shù)據(jù)收集的性質(zhì),舊的挑戰(zhàn)得到解決,而新的問題也隨之浮現(xiàn)出來。
近日,由中國團隊研發(fā)的“一種基于共享內(nèi)存和多進程的支持高并發(fā)的分布式數(shù)據(jù)庫架構(gòu)”通過美國商標專利局審查核準。這是易鯨捷年內(nèi)第三次獲得美國商標專利局授權(quán)專利,再次驗證了易鯨捷多年來在分布式數(shù)據(jù)庫領(lǐng)域的自研成果
把脈中國數(shù)據(jù)智能化
2023年,幾乎可以被定義為中國互聯(lián)網(wǎng)公司的“大模型元年”。ChatGPT的全球爆紅,徹底點燃國內(nèi)的大模型賽道,曾經(jīng)的“創(chuàng)業(yè)英雄”、如今的商業(yè)領(lǐng)袖們親自下場,接連發(fā)布生成式人工智能產(chǎn)品與大模型布局。大模型火了,沉寂許久的互聯(lián)網(wǎng)行業(yè)又有了新的“戰(zhàn)事”。同時,大模型的快速發(fā)展也改變了云市場的現(xiàn)狀,企業(yè)對
近日,數(shù)字化市場研究咨詢機構(gòu)愛分析發(fā)布了《2022愛分析·數(shù)據(jù)智能廠商全景報告》,愛分析從技術(shù)研發(fā)能力、服務(wù)客戶數(shù)量、收入規(guī)模等維度對廠商進行了全面專業(yè)的評估
2022年11月18日,首個國家級大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新賽事——2022第一屆中國大數(shù)據(jù)大賽圓滿落幕。工業(yè)和信息化部信息技術(shù)發(fā)展司數(shù)字經(jīng)濟推進處處長張建倫,中國電子技術(shù)標準化研究院副院長孫文龍出席頒獎典禮并致辭
2022年11月17日,在廈門市工業(yè)和信息化局的指導(dǎo)下,以“數(shù)據(jù)確權(quán)”為主題的2022數(shù)據(jù)資產(chǎn)(廈門)論壇在廈門成功舉辦。本次論壇以“數(shù)據(jù)確權(quán)”為主題,由廈門市互聯(lián)網(wǎng)域名應(yīng)用服務(wù)產(chǎn)業(yè)協(xié)會和構(gòu)信網(wǎng)(公信.中國)聯(lián)合主辦
近日,國內(nèi)知名數(shù)字化市場研究咨詢機構(gòu)愛分析正式發(fā)布《2022愛分析·信創(chuàng)廠商全景報告》(以下簡稱“報告”)。報告綜合考慮企業(yè)關(guān)注度、行業(yè)落地進展等因素,遴選出在信創(chuàng)市場中具備成熟解決方案和落地能力的廠商。
10月31日下午,由數(shù)博會執(zhí)委會主辦、數(shù)據(jù)觀(北京)傳媒科技有限公司承辦、貴陽大數(shù)據(jù)交易所協(xié)辦的第四期數(shù)博思享會“實踐先行觀公共數(shù)據(jù)價值與應(yīng)用”活動成功舉辦。
近日,由中國國際數(shù)字經(jīng)濟博覽會組委會主辦,中國電子技術(shù)標準化研究院、河北省工業(yè)和信息化廳承辦的“第一屆中國大數(shù)據(jù)大賽”(簡稱大數(shù)據(jù)大賽)正式啟動。
廣州光點信息科技有限公司自主研發(fā)的數(shù)據(jù)中臺產(chǎn)品GI大數(shù)據(jù)中臺V2.0產(chǎn)品是國內(nèi)率先推出符合新創(chuàng)標準的中臺產(chǎn)品,基于“大數(shù)據(jù)+AI”等技術(shù)全新打造,集數(shù)據(jù)采集、融合、治理、服務(wù)、管理為一體的旗艦平臺。
廣州光點信息科技有限公司自主研發(fā)的數(shù)據(jù)中臺產(chǎn)品GI大數(shù)據(jù)中臺V2.0產(chǎn)品是國內(nèi)率先推出符合新創(chuàng)標準的中臺產(chǎn)品,基于“大數(shù)據(jù)+AI”等技術(shù)全新打造,集數(shù)據(jù)采集、融合、治理、服務(wù)、管理為一體的旗艦平臺