1. 創(chuàng)業(yè)頭條
  2. 前沿領(lǐng)域
  3. 人工智能
  4. 正文

人工智能落地關(guān)鍵:流式推理引擎介紹及對比

 2020-06-24 14:47  來源:互聯(lián)網(wǎng)  我來投稿 撤稿糾錯

  域名預(yù)訂/競價,好“米”不錯過

DarwinML Inference:

DarwinML Inference流式推理引擎是為人工智能平臺量身定做的商業(yè)化產(chǎn)品。

對于數(shù)據(jù)科學(xué)家而言,它的接口抽象,貼近其思維。不限定底層人工智能框架,給其足夠的自由度。對于復(fù)雜的模型,支持DAG形式的工作流和數(shù)據(jù)流同圖定義,一目了然且方便后續(xù)運(yùn)營商部署和彈性伸縮。

對于運(yùn)營商而言,它采用成熟軟件棧和微服務(wù)架構(gòu),從單機(jī)到超大規(guī)模集群彈性伸縮。它不挑硬件,支持從嵌入式設(shè)備、臺式機(jī)、大型服務(wù)器、云端虛擬機(jī)和容器乃至商業(yè)集群的各種新老硬件平臺。它支持對接模型編譯、小型化等優(yōu)化加速技術(shù),提升模型的適應(yīng)度,提高單位資源的產(chǎn)出。自動批量功能能充分發(fā)揮人工智能模型批量計算和底層硬件向量加速的功能,即成倍提升系統(tǒng)吞吐量,又不增加數(shù)據(jù)科學(xué)家和運(yùn)營商的成本。

對于用戶而言,它提供豐富的接入接口,包括通用RESTful到高性能的RPC,支持從Python和Java的SDK。對于低延遲的場景,能提供毫秒級的相應(yīng)。對于高并發(fā)的場景,支持線性在線自動擴(kuò)容。

MetaFlow:

MetaFlow是Netflix開源的一款旨在幫助數(shù)據(jù)科學(xué)家開發(fā)管理其項(xiàng)目的Python庫。他側(cè)重于減輕數(shù)據(jù)科學(xué)家在開發(fā)、管理數(shù)據(jù)科學(xué)項(xiàng)目時,對非數(shù)據(jù)科學(xué)類其他工程領(lǐng)域的技能要求與投入。使之能關(guān)注于數(shù)據(jù)科學(xué)領(lǐng)域。

對于數(shù)據(jù)科學(xué)家而言,MetaFlow提供的編程規(guī)范和接口,將人工智能模型及相關(guān)處理的流程以工作流的形式組織起來,其他的事情,都由其后端運(yùn)營商負(fù)責(zé)。

對于運(yùn)營商而言,MetaFlow深度集成Amazon AWS,且是當(dāng)前唯一支持的運(yùn)營商,對于需要商用甚至調(diào)試的場景,都需要自己在AWS里面操作,完成存儲、計算、通訊等適配,才能實(shí)現(xiàn)人工智能模型的服務(wù)化,對接終端用戶。此外,MetaFlow里面的工作流,不處理數(shù)據(jù)流,完全依賴AWS。

對于終端用戶而言,MetaFlow只提供了client,用以在python代碼級別發(fā)起工作流調(diào)用。對于商用而言,相對缺少更加便捷豐富的接入方式。

AirFlow:

AirFlow是Airbnb開源的一款工作流系統(tǒng),它基礎(chǔ)功能簡單,通過插件的形式支持各種語言和執(zhí)行端。

對于數(shù)據(jù)科學(xué)家而言,它不是一款專門為期設(shè)計系統(tǒng),需要引用一系列列插件、甚至是開發(fā)一些插件,才能完成與數(shù)據(jù)科學(xué)家及其人工智能模型應(yīng)用的對接。和MetaFlow一樣,它的工作流也只是涵蓋業(yè)務(wù)層邏輯,不處理數(shù)據(jù)流,它通過插件支持各主流云平臺,例AWS、Azure、GCP等,也有著和MetaFlow相同的問題,對數(shù)據(jù)科學(xué)家不太友好,比MetaFlow糟糕的是,它的集成相對MetaFlow來說要晦澀且難用。

對運(yùn)營商而言,AirFlow更像是一個相對專業(yè)的底層工作流管理平臺,但對于人工智能推理服務(wù),他不是專業(yè)的,缺少直接、簡單、易用的東西,比MetaFlow更為不及。

對于終端用戶而言,AirFlow提供比較豐富的訪問接口,相對更友好。

MLFlow:

MLFlow是有Databricks開源的一款機(jī)器學(xué)習(xí)生命周期管理平臺,推理服務(wù)是其功能之一。

對于數(shù)據(jù)科學(xué)家而言,MLFlow是一個比較簡單易用的機(jī)器學(xué)習(xí)平臺,在推理服務(wù)環(huán)節(jié),支持將同平臺的模型導(dǎo)出為其標(biāo)準(zhǔn)的格式,例如Python Function、Scikit-learn、pyTorch、Tensorflow等,通過其部署工具,在支持的運(yùn)行平臺服務(wù)化。對比其他的推理引擎,其主要的弱勢是模型從概念上不是基于工作流的,在構(gòu)建復(fù)雜的中大型模型推理服務(wù)的時候,需要數(shù)據(jù)科學(xué)家自己解決工作流的問題。此外,同MetaFlow和AirFlow一樣,他也不解決數(shù)據(jù)流的問題,需要數(shù)據(jù)科學(xué)家結(jié)合運(yùn)營商的運(yùn)行平臺自己解決。

對于運(yùn)營商而言,MLFlow支持4種部署方式,本地單機(jī)部署、Azure、Amazon SageMaker、Apache Spark UDF,但只有本地單機(jī)部署支持多種格式,其他云端、集群部署都只支持Python Function格式。這提高了商業(yè)化運(yùn)行時,對數(shù)據(jù)科學(xué)家建模時的格式要求,削弱了MLFlow在建模階段的優(yōu)勢。

對于終端用戶而言,MLFlow只提供了RESTFul接口,在要求大流量、高性能、低延時的場景,還是缺少一些其他的選擇。

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
人工智能

相關(guān)文章

  • IoT開發(fā)者為王,涂鴉智能硬核“靠邊站”

    IoT盛宴:涂鴉向下,產(chǎn)品向上

    標(biāo)簽:
    人工智能
  • IPO觀察丨黑芝麻智能遞表港交所,車芯行業(yè)已邁向量產(chǎn)決戰(zhàn)期?

    雖然我國汽車芯片行業(yè)還處在發(fā)展初期,但已經(jīng)迸發(fā)出無限潛力。一方面,智能汽車的發(fā)展不斷帶動需求增長;另一方面,政策引導(dǎo)下,汽車芯片企業(yè)持續(xù)搶占高地。對此,在7月5日-7日舉辦的2023年中國汽車論壇上,中國汽車工業(yè)協(xié)會副秘書長李邵華就做出表示,“中國將成為未來汽車芯片發(fā)展的集聚地”。車規(guī)芯片行業(yè)近日的

    標(biāo)簽:
    人工智能
  • 倒計時2天丨云天勵飛將亮相世界人工智能大會

    2023世界人工智能大會將于7月6日至8日在上海舉辦。云天勵飛將在大會上展示自主設(shè)計開發(fā)的新一代邊緣計算芯片DeepEdge10系列SoC芯片,并公布“天書”大模型的最新動態(tài)。歡迎蒞臨上海世博展覽館H1-C801展臺參觀交流!同時,云天勵飛也將與中國電子、中國信通院、華為等合作伙伴,在WAIC的舞臺

    標(biāo)簽:
    人工智能
  • 酷學(xué)院智能產(chǎn)品發(fā)布會:引領(lǐng)中大型企業(yè)學(xué)習(xí)新潮流

    近日,酷學(xué)院智能產(chǎn)品發(fā)布會在深圳閃亮登場。近200位現(xiàn)場觀眾和近萬人次在線觀看,共同見證了這一激動人心的時刻。發(fā)布會上,酷學(xué)院引領(lǐng)大家探索企業(yè)培訓(xùn)學(xué)習(xí)和人才發(fā)展領(lǐng)域的新高度,并揭幕其全新的產(chǎn)品智能升級和突破??釋W(xué)院產(chǎn)品負(fù)責(zé)人徐晨通過形象生動、邏輯嚴(yán)謹(jǐn)?shù)闹v述,揭曉了全新的智能企業(yè)培訓(xùn)和人才發(fā)展平臺,以

    標(biāo)簽:
    人工智能
  • 青少年在科創(chuàng)新活動中受益:人工智能教育開啟未來的可能性

    隨著人工智能技術(shù)的快速發(fā)展,各行各業(yè)都受到了深刻影響,特別是中小學(xué)人工智能教育的普及,已經(jīng)成為當(dāng)今不可忽視的重要課程。ChatGPT等人工智能技術(shù)的出現(xiàn),讓我們看到了人工智能將成為未來推動科技跨越發(fā)展、生產(chǎn)力整體躍升的重要驅(qū)動力量之一。在這個背景下,中小學(xué)教育已經(jīng)將人工智能作為重要學(xué)習(xí)內(nèi)容,并將科技

    標(biāo)簽:
    人工智能
  • 庫克已納投名狀:蘋果AI沒得選,只能選百度

    蘋果16弄了兩個版本,一個是專門給中國人用的,準(zhǔn)備用百度的AI,還要交錢。第二個是全世界都可以用的,用了ChatGPT,包括臺灣、香港、澳門都可以用。以后都這樣了。好,問題就出在這,蘋果和百度的合作出現(xiàn)問題了,新聞連起來看,才能明白其中含義。新聞一:蘋果正在和騰訊、字節(jié)初步接洽,考慮將二者的AI模型

    標(biāo)簽:
    蘋果AI
    百度AI
    庫克
  • AI加速時代的“進(jìn)度條”,我們撥動了百分之幾?

    “技術(shù)日新月異,人類生活方式正在快速轉(zhuǎn)變,這一切給人類歷史帶來了一系列不可思議的奇點(diǎn)。我們曾經(jīng)熟悉的一切,都開始變得陌生?!庇嬎銠C(jī)之父約翰·馮·諾依曼曾這樣說到。

    標(biāo)簽:
    ai智能
  • AI視頻賽道,要變天了

    “毀滅你,與你何干?”,這是在劉慈欣的科幻小說《三體》里用來形容人類與三體人之間的戰(zhàn)爭的一句話。

    標(biāo)簽:
    ai智能
  • “創(chuàng)造市場”與“算法進(jìn)化”,中美AI競速的岔路口

    “人工智能的商業(yè)模式,是要創(chuàng)造一個市場,而非一個算法”。這是世界AI泰斗MichaelI.Jordan的觀點(diǎn)。而當(dāng)前的全球AI市場,占據(jù)主導(dǎo)地位的中美雙方,卻也走出了兩條截然不同的技術(shù)路徑,前者執(zhí)著于前沿技術(shù)的探索,后者則發(fā)力應(yīng)用優(yōu)化和商業(yè)化落地。南轅北轍的兩個方向,或許已經(jīng)無法直接進(jìn)行排位先后、優(yōu)

    標(biāo)簽:
    ai智能
  • 智能體進(jìn)化發(fā)展了一年,現(xiàn)在的RPA Agent迭代到什么程度了?

    智能體進(jìn)化發(fā)展了一年,現(xiàn)在的RPAAgent迭代到什么程度了?從實(shí)在智能最新發(fā)布的實(shí)在Agent7.0,看RPAAgent的迭代升級抓取豆瓣信息、自己制作PPT,這款A(yù)IAgent真的實(shí)現(xiàn)了流程全自動化AIAgent構(gòu)建到執(zhí)行全自動化,持續(xù)進(jìn)化RPAAgent再次降低智能體應(yīng)用門檻實(shí)在智能重磅發(fā)布實(shí)

  • 崔大寶:大模型降溫背后的難點(diǎn)、卡點(diǎn)、節(jié)點(diǎn)

    崔大寶|節(jié)點(diǎn)財經(jīng)創(chuàng)始人進(jìn)入2024年,大模型似乎有熄火之勢:資本市場,與之關(guān)聯(lián)的概念炒不動了,英偉達(dá)股價動輒暴跌重挫,引發(fā)“泡沫戳破”的擔(dān)憂;消費(fèi)市場,BATH們的推新活動少了,產(chǎn)品更新迭代的速度慢了,民眾的關(guān)注度降了……熱鬧的大概只剩下兩場酣仗:自5月15日字節(jié)跳動宣布“以厘計費(fèi)”,打響國內(nèi)大模型

    標(biāo)簽:
    大模型
  • 這一屆“出道”的數(shù)字人,已經(jīng)拿捧上了“鐵飯碗”

    文|智能相對論作者|陳泊丞好消息!你心心念念的事業(yè)單位發(fā)錄取公告了!壞消息!他們沒錄你,錄了個數(shù)字人。圖片來源網(wǎng)絡(luò)隨著數(shù)字人技術(shù)的突破,越來越多的傳統(tǒng)企業(yè)和機(jī)構(gòu)開始用上了“數(shù)字員工”。甚至很多中國人心心念念的“鐵飯碗”,也被這些數(shù)字人給捧上了。數(shù)字人捧上了“鐵飯碗”簡單翻看一下全國各地事業(yè)單位的“錄

    標(biāo)簽:
    數(shù)字人
  • 來到IPO關(guān)口,地平線離“三分天下”還有多遠(yuǎn)?

    黑芝麻智能敲鐘后,港交所門口又有一些智駕芯片企業(yè)引發(fā)關(guān)注。據(jù)悉,近日地平線已通過中國證監(jiān)會IPO備案,擬發(fā)行不超過11.5億股境外上市普通股并在香港聯(lián)合交易所上市,預(yù)計籌集約5億美元資金。從天眼查可以了解到,該公司成立于2015年,是一家乘用車高級輔助駕駛(ADAS)和高階自動駕駛(AD)解決方案供

  • 機(jī)器人大會引領(lǐng)產(chǎn)業(yè)動向,卓翼飛思繪制無人系統(tǒng)教科研新藍(lán)圖

    8月21日,萬眾矚目的2024世界機(jī)器人大會暨博覽會在北京亦創(chuàng)國際會展中心盛大開幕。這場為期5天,集“展覽”“論壇”“賽事”于一體的機(jī)器人盛會,反映了當(dāng)下機(jī)器人領(lǐng)域的繁榮生態(tài)。據(jù)官方統(tǒng)計數(shù)據(jù),今年現(xiàn)場逛展觀眾高達(dá)25萬人次,比去年增加25%。機(jī)器人行業(yè)有多火?看看2024世界機(jī)器人大會火爆程度便可知

編輯推薦