1. 創(chuàng)業(yè)頭條
  2. 前沿領(lǐng)域
  3. 人工智能
  4. 正文

業(yè)界最強(qiáng)開源大模型來了!通義千問720億參數(shù)模型正式開源

 2023-12-01 11:53  來源:互聯(lián)網(wǎng)  我來投稿 撤稿糾錯

  域名預(yù)訂/競價,好“米”不錯過

12月1日,阿里云舉辦通義千問發(fā)布會,開源通義千問720億參數(shù)模型Qwen-72B。Qwen-72B在10個權(quán)威基準(zhǔn)測評創(chuàng)下開源模型最優(yōu)成績,成為業(yè)界最強(qiáng)開源大模型,性能超越開源標(biāo)桿Llama 2-70B和大部分商用閉源模型。未來,企業(yè)級、科研級的高性能應(yīng)用,也有了開源大模型這一選項。

通義千問還開源了18億參數(shù)模型Qwen-1.8B和音頻大模型Qwen-Audio。至此,通義千問共開源18億、70億、140億、720億參數(shù)的4款大語言模型,以及視覺理解、音頻理解兩款多模態(tài)大模型,實(shí)現(xiàn)“全尺寸、全模態(tài)”開源。力度之大,業(yè)界無出其右。

業(yè)界最強(qiáng)開源模型,填補(bǔ)中國LLM開源領(lǐng)域空白

Qwen-72B基于3T tokens高質(zhì)量數(shù)據(jù)訓(xùn)練,延續(xù)通義千問預(yù)訓(xùn)練模型一貫以來的強(qiáng)勢表現(xiàn),在10個權(quán)威基準(zhǔn)測評中奪得開源模型最優(yōu)成績,在部分測評中超越閉源的GPT-3.5和GPT-4。

英語任務(wù)上,Qwen-72B在MMLU基準(zhǔn)測試取得開源模型最高分;中文任務(wù)上,Qwen-72B霸榜C-Eval、CMMLU、GaokaoBench等基準(zhǔn),得分超越GPT-4;數(shù)學(xué)推理方面,Qwen-72B在GSM8K、MATH測評中斷層式領(lǐng)先其他開源模型;代碼理解方面,Qwen-72B在HumanEval、MBPP等測評中的表現(xiàn)大幅提升,代碼能力有了質(zhì)的飛躍。

在10大權(quán)威測評中,通義千問720億參數(shù)模型獲得開源模型最優(yōu)成績

通義千問720億開源模型部分成績超越閉源的GPT-3.5和GPT-4

Qwen-72B可以處理最多32k的長文本輸入,在長文本理解測試集LEval上取得了超越ChatGPT-3.5-16k的效果。研發(fā)團(tuán)隊優(yōu)化了Qwen-72B的指令遵循、工具使用等技能,使之能更好地被下游應(yīng)用集成。比如,Qwen-72B搭載了強(qiáng)大的系統(tǒng)指令(System Prompt)能力,用戶只用一句提示詞就可定制AI助手,要求大模型扮演某個角色或者執(zhí)行特定的回復(fù)任務(wù)。

用戶僅用一句提示詞就可創(chuàng)建自己的AI助手

此前,中國大模型市場還沒出現(xiàn)足以對標(biāo)Llama 2-70B的優(yōu)質(zhì)開源模型。Qwen-72B填補(bǔ)了國內(nèi)空白,以高性能、高可控、高性價比的優(yōu)勢,提供不亞于商業(yè)閉源大模型的選擇?;赒wen-72B,大中型企業(yè)可開發(fā)商業(yè)應(yīng)用,高校、科研院所可開展AI for Science等科研工作。

從1.8B到72B, 通義千問 率先實(shí)現(xiàn)全尺寸開源

如果說Qwen-72B“向上摸高”,抬升了開源大模型的尺寸和性能天花板;發(fā)布會上的另一開源模型Qwen-1.8B則“向下探底”,成為尺寸最小的中國開源大模型,推理2K長度文本內(nèi)容僅需3G顯存,可在消費(fèi)級終端部署。

從18億、70億、140億到720億參數(shù)規(guī)模,通義千問成為業(yè)界首個“全尺寸開源”的大模型。用戶可在魔搭社區(qū)直接體驗(yàn)Qwen系列模型效果,也可通過阿里云靈積平臺調(diào)用模型API,或基于阿里云百煉平臺定制大模型應(yīng)用。阿里云人工智能平臺PAI針對通義千問全系列模型進(jìn)行深度適配,推出了輕量級微調(diào)、全參數(shù)微調(diào)、分布式訓(xùn)練、離線推理驗(yàn)證、在線服務(wù)部署等服務(wù)。

阿里云是國內(nèi)最早開源自研大模型的科技企業(yè),8月以來開源了Qwen-7B、Qwen-14B和視覺理解模型Qwen-VL。幾款模型先后沖上HuggingFace、Github大模型榜單,得到中小企業(yè)和個人開發(fā)者的青睞,累計下載量超過150萬,催生出150多款新模型、新應(yīng)用。發(fā)布會現(xiàn)場,多位開發(fā)者伙伴現(xiàn)身說法,分享了他們用Qwen開發(fā)專屬模型和特定應(yīng)用的實(shí)踐。

阿里云CTO周靖人表示,開源生態(tài)對促進(jìn)中國大模型的技術(shù)進(jìn)步與應(yīng)用落地至關(guān)重要,通義千問將持續(xù)投入開源,希望成為“AI時代最開放的大模型”,與伙伴們共同促進(jìn)大模型生態(tài)建設(shè)。

通義千問基座模型持續(xù)進(jìn)化,多模態(tài)探索業(yè)界領(lǐng)先

通義千問在多模態(tài)大模型領(lǐng)域的探索也領(lǐng)先業(yè)界一步,當(dāng)天,阿里云首次開源音頻理解大模型Qwen-Audio。

Qwen-Audio能夠感知和理解人聲、自然聲、動物聲、音樂聲等各類語音信號。用戶可以輸入一段音頻,要求模型給出對音頻的理解,甚至基于音頻進(jìn)行文學(xué)創(chuàng)作、邏輯推理、故事續(xù)寫等等。音頻理解能夠賦予大模型接近人類的聽覺能力。

通義大模型能“聽”也能“看”。通義千問8月開源出視覺理解大模型Qwen-VL,迅速成為國際開源社區(qū)最佳實(shí)踐之一。本次發(fā)布會又宣布了Qwen-VL的重大更新,大幅提升通用OCR、視覺推理、中文文本理解基礎(chǔ)能力,還能處理各種分辨率和規(guī)格的圖像,甚至能“看圖做題”。不論從權(quán)威測評成績還是真人體驗(yàn)的效果看,Qwen-VL的中文文本理解能力都大幅超越了GPT-4V。

通義千問閉源模型也在持續(xù)進(jìn)化,一個月前發(fā)布的通義千問2.0版閉源模型,最近已進(jìn)階至2.1版,上下文窗口長度擴(kuò)展到32k,代碼理解生成能力、數(shù)學(xué)推理能力、中英文百科知識、幻覺誘導(dǎo)抵抗能力分別提升30%、10%、近5%和14%。用戶可以在通義千問APP免費(fèi)體驗(yàn)最新版本的閉源模型。

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
大模型

相關(guān)文章

  • 首屆通義千問AI挑戰(zhàn)賽開賽,參賽者可暢玩通義開源模型家族

    12月1日,首屆“通義千問AI挑戰(zhàn)賽”開賽,參賽者可免費(fèi)暢玩通義開源模型家族,包括剛剛發(fā)布的720億參數(shù)模型Qwen-72B。主辦方為參賽者提供價值50萬元的免費(fèi)云上算力和豐厚獎金。賽事分為算法和Agent兩大賽道,前者聚焦通義千問大模型的微調(diào)訓(xùn)練,希望通過高質(zhì)量的數(shù)據(jù)探索開源模型的代碼能力上限,后

    標(biāo)簽:
    大模型
  • 最強(qiáng)開源大模型來了!通義千問720億參數(shù)模型開源發(fā)布

    12月1日通義千問發(fā)布會,阿里云開源通義千問720億參數(shù)模型Qwen-72B。Qwen-72B在10個權(quán)威基準(zhǔn)測評創(chuàng)下開源模型最優(yōu)成績,成為業(yè)界最強(qiáng)開源大模型,性能超越開源標(biāo)桿Llama2-70B和大部分商用閉源模型,可適配企業(yè)級、科研級的高性能應(yīng)用。通義千問當(dāng)天還開源了18億參數(shù)模型Qwen-1.

    標(biāo)簽:
    大模型
  • 掰開安卓手機(jī),滿屏都是三個字:大模型

    這年頭,安卓廠商沒個大模型,都不敢開手機(jī)發(fā)布會了。前腳OPPO剛用大模型升級了語音助手,后腳vivo就官宣自研手機(jī)AI大模型;小米發(fā)布會則直接將大模型當(dāng)場塞進(jìn)手機(jī)系統(tǒng)……其競爭激烈程度,不亞于搶芯片首發(fā)。到底是怎么回事?究其原因,還是智能終端已經(jīng)成為了各類AIGC應(yīng)用的落地“新灘頭”。先是圖像生成大

    標(biāo)簽:
    大模型
  • 加速大模型落地,容聯(lián)云發(fā)布多款生成式智能服務(wù)

    基于容聯(lián)云自主研發(fā)的赤兔大模型能力,容聯(lián)云容犀機(jī)器人真正將大模型強(qiáng)大的理解能力、知識學(xué)習(xí)能力、總結(jié)能力、挖掘能力、推理能力融入于實(shí)際落地應(yīng)用中。開創(chuàng)性的打造生成式場景化智能問答、生成式智能輔助、AI運(yùn)營話術(shù)庫,幫助企業(yè)洞悉更精準(zhǔn)的客戶真實(shí)需求,提升一線客服人員的專業(yè)服務(wù)能力,并代替人工完成大量低價值

    標(biāo)簽:
    大模型
  • 從搜索到大模型,百度商業(yè)化的“驚險一躍”

    文:向善財經(jīng)關(guān)于百度,最近發(fā)生了這么兩件事兒。一個是華爾街分析師重申了對百度股票的買入評級和目標(biāo)價,但在該公司11月21日公布第三季度收益之前下調(diào)了第三季度收入預(yù)期。分析師給出的理由是,線下廣告支出走軟,以及2G資金減少之后,給智能交通帶來挑戰(zhàn)。另外一個是最近文心一言正式上線了專業(yè)版,并且開始收費(fèi),

    標(biāo)簽:
    百度
    大模型
  • 庫克已納投名狀:蘋果AI沒得選,只能選百度

    蘋果16弄了兩個版本,一個是專門給中國人用的,準(zhǔn)備用百度的AI,還要交錢。第二個是全世界都可以用的,用了ChatGPT,包括臺灣、香港、澳門都可以用。以后都這樣了。好,問題就出在這,蘋果和百度的合作出現(xiàn)問題了,新聞連起來看,才能明白其中含義。新聞一:蘋果正在和騰訊、字節(jié)初步接洽,考慮將二者的AI模型

    標(biāo)簽:
    蘋果AI
    百度AI
    庫克
  • AI加速時代的“進(jìn)度條”,我們撥動了百分之幾?

    “技術(shù)日新月異,人類生活方式正在快速轉(zhuǎn)變,這一切給人類歷史帶來了一系列不可思議的奇點(diǎn)。我們曾經(jīng)熟悉的一切,都開始變得陌生?!庇嬎銠C(jī)之父約翰·馮·諾依曼曾這樣說到。

    標(biāo)簽:
    ai智能
  • AI視頻賽道,要變天了

    “毀滅你,與你何干?”,這是在劉慈欣的科幻小說《三體》里用來形容人類與三體人之間的戰(zhàn)爭的一句話。

    標(biāo)簽:
    ai智能
  • “創(chuàng)造市場”與“算法進(jìn)化”,中美AI競速的岔路口

    “人工智能的商業(yè)模式,是要創(chuàng)造一個市場,而非一個算法”。這是世界AI泰斗MichaelI.Jordan的觀點(diǎn)。而當(dāng)前的全球AI市場,占據(jù)主導(dǎo)地位的中美雙方,卻也走出了兩條截然不同的技術(shù)路徑,前者執(zhí)著于前沿技術(shù)的探索,后者則發(fā)力應(yīng)用優(yōu)化和商業(yè)化落地。南轅北轍的兩個方向,或許已經(jīng)無法直接進(jìn)行排位先后、優(yōu)

    標(biāo)簽:
    ai智能
  • 智能體進(jìn)化發(fā)展了一年,現(xiàn)在的RPA Agent迭代到什么程度了?

    智能體進(jìn)化發(fā)展了一年,現(xiàn)在的RPAAgent迭代到什么程度了?從實(shí)在智能最新發(fā)布的實(shí)在Agent7.0,看RPAAgent的迭代升級抓取豆瓣信息、自己制作PPT,這款A(yù)IAgent真的實(shí)現(xiàn)了流程全自動化AIAgent構(gòu)建到執(zhí)行全自動化,持續(xù)進(jìn)化RPAAgent再次降低智能體應(yīng)用門檻實(shí)在智能重磅發(fā)布實(shí)

  • 崔大寶:大模型降溫背后的難點(diǎn)、卡點(diǎn)、節(jié)點(diǎn)

    崔大寶|節(jié)點(diǎn)財經(jīng)創(chuàng)始人進(jìn)入2024年,大模型似乎有熄火之勢:資本市場,與之關(guān)聯(lián)的概念炒不動了,英偉達(dá)股價動輒暴跌重挫,引發(fā)“泡沫戳破”的擔(dān)憂;消費(fèi)市場,BATH們的推新活動少了,產(chǎn)品更新迭代的速度慢了,民眾的關(guān)注度降了……熱鬧的大概只剩下兩場酣仗:自5月15日字節(jié)跳動宣布“以厘計費(fèi)”,打響國內(nèi)大模型

    標(biāo)簽:
    大模型
  • 這一屆“出道”的數(shù)字人,已經(jīng)拿捧上了“鐵飯碗”

    文|智能相對論作者|陳泊丞好消息!你心心念念的事業(yè)單位發(fā)錄取公告了!壞消息!他們沒錄你,錄了個數(shù)字人。圖片來源網(wǎng)絡(luò)隨著數(shù)字人技術(shù)的突破,越來越多的傳統(tǒng)企業(yè)和機(jī)構(gòu)開始用上了“數(shù)字員工”。甚至很多中國人心心念念的“鐵飯碗”,也被這些數(shù)字人給捧上了。數(shù)字人捧上了“鐵飯碗”簡單翻看一下全國各地事業(yè)單位的“錄

    標(biāo)簽:
    數(shù)字人
  • 來到IPO關(guān)口,地平線離“三分天下”還有多遠(yuǎn)?

    黑芝麻智能敲鐘后,港交所門口又有一些智駕芯片企業(yè)引發(fā)關(guān)注。據(jù)悉,近日地平線已通過中國證監(jiān)會IPO備案,擬發(fā)行不超過11.5億股境外上市普通股并在香港聯(lián)合交易所上市,預(yù)計籌集約5億美元資金。從天眼查可以了解到,該公司成立于2015年,是一家乘用車高級輔助駕駛(ADAS)和高階自動駕駛(AD)解決方案供

  • 機(jī)器人大會引領(lǐng)產(chǎn)業(yè)動向,卓翼飛思繪制無人系統(tǒng)教科研新藍(lán)圖

    8月21日,萬眾矚目的2024世界機(jī)器人大會暨博覽會在北京亦創(chuàng)國際會展中心盛大開幕。這場為期5天,集“展覽”“論壇”“賽事”于一體的機(jī)器人盛會,反映了當(dāng)下機(jī)器人領(lǐng)域的繁榮生態(tài)。據(jù)官方統(tǒng)計數(shù)據(jù),今年現(xiàn)場逛展觀眾高達(dá)25萬人次,比去年增加25%。機(jī)器人行業(yè)有多火?看看2024世界機(jī)器人大會火爆程度便可知

編輯推薦