AI Agent涌向移動終端，手機智能體開啟跨端跨應(yīng)用業(yè)務(wù)連接新場景

AI Agent涌向移動終端，手機智能體勢不可擋

還沒搞清楚什么是AI Agent，手機Agent就已經(jīng)橫空出世

AIGC為何涌向移動端？背后有哪些邏輯？什么是手機智能體？一文看明白

科技大廠、手機廠商、企服領(lǐng)域都在發(fā)力，手機智能體成AI Agent新趨勢

AI Agent迎來移動端大爆發(fā)，手機智能體將成企業(yè)AIGC新標配

AI Agent移動應(yīng)用大升級，手機智能體開啟跨端跨應(yīng)用業(yè)務(wù)連接新場景

文/王吉偉

春節(jié)期間OpenAI推出的AI視頻模型Sora火出天際，到處都是文生視頻模型如何厲害如何改變真實世界的信息，以至于OpenAI在AI Agent方面的最新動向都被掩蓋了。

春節(jié)前的2月8日，科技媒體The Information報道OpenAI正開發(fā)兩款革命性的Agent軟件，其中一款能夠有效接管客戶的設(shè)備來自動執(zhí)行復雜的任務(wù)。

據(jù)說，這個Agent能夠自動執(zhí)行點擊、光標移動、文本輸入等操作，與人類操作軟件無異。例如，把文檔中的數(shù)據(jù)傳輸?shù)诫娮颖砀裰羞M行分析，或者自動填寫費用報告并將其輸入會計軟件，或者根據(jù)一定的預算制定行程或預訂機票。

這個能夠直接操縱個人電腦自動完成各種任務(wù)的智能體，現(xiàn)在被更多媒體稱作AI Agent 2.0。

這些報道沒有具體說明這款Agent所接管的設(shè)備是PC還是手機，不過ChatGPT有移動端，能夠在手機或者平板上調(diào)用這個Agent是遲早的事。

想要在移動端構(gòu)建AI Agent的大語言模型（LLM，Large Language Models）廠商，遠不止OpenAI這一家。

去年12月，騰訊與德州大學達拉斯分校合作推出了一個名為AppAgent的項目。該項目可以通過自主學習和模仿人類的點擊和滑動手勢，在手機上執(zhí)行各種任務(wù)。

項目地址：

https://github.com/mnotgod96/AppAgent

論文地址:

https://arxiv.org/abs/2312.13771

包括在社交媒體上發(fā)帖、幫助用戶撰寫和發(fā)送郵件、使用地圖、在線購物，甚至進行復雜的圖像編輯。AppAgent在50個任務(wù)上進行了廣泛測試，涵蓋了10種不同的應(yīng)用程序。

2月初，阿里巴巴與北京交通大學聯(lián)合推出了一款全新的手機操作智能體框架Mobile-Agent。該框架的核心優(yōu)勢在于其純視覺解決方案。傳統(tǒng)的手機操作方式往往需要依賴XML等標記語言以及系統(tǒng)元數(shù)據(jù)，而Mobile-Agent則完全摒棄了這些需求。

項目地址：

https://github.com/X-PLUG/MobileAgent

論文地址：

https://arxiv.org/abs/2401.16158v1

這意味著，用戶無需進行復雜的設(shè)置或修改，只需通過直觀的視覺指示即可完成操作。

除了科技大廠，LLM創(chuàng)業(yè)團隊也推出了相應(yīng)的Agent項目。比如在去年12月，清華&智譜AI團隊推出的CogAgent-Chat。CogAgent是一個基于180億參數(shù)規(guī)模的視覺語言模型（VLM）的圖形用戶界面（GUI）智能體，專注于GUI圖形交互界面的理解和導航。

CogAgent使用屏幕截圖作為輸入，在PC和Android GUI導航任務(wù)上超越了基于語言模型的方法，如Mind2Web和AITW，引領(lǐng)了GUI理解領(lǐng)域的最新技術(shù)發(fā)展。

論文：

https://arxiv.org/abs/2312.08914

代碼：

https://github.com/THUDM/CogVLM

Demo：http://36.103.203.44:7861/

如今的大語言模型在具體應(yīng)用方面都是多端通用，MAS和SaaS模式使得LLM廠商推出的AI Agent構(gòu)建平臺及個體能夠應(yīng)用于手機端也是必然。

AI智能體涌向移動端，已經(jīng)成為AIGC行業(yè)發(fā)展的必然趨勢。

（注：回復 手機Agent 獲取本文提到的所有研報資源。）

AI Agent趨勢：涌向移動端

系統(tǒng)廠商與終端廠商的步子，甚至比大模型廠商邁得還要大。畢竟他們更貼近用戶，了解市場需要什么，也知道自己在哪里突破。

這些廠商對于AI Agent的探索比我們預想得要早很多，且已經(jīng)拿出初步成果。

也是在春節(jié)前夕，微軟推出了名為UFO的Windows Agent。這是一款用于構(gòu)建用戶界面（UI）交互智能體的 Agent 框架，能夠快速理解和執(zhí)行用戶的自然語言請求。

項目地址：

https://github.com/microsoft/UFO

技術(shù)報告：

https://arxiv.org/abs/2402.07939

UFO可以在Windows內(nèi)自主回答用戶查詢，可在單個或者跨多個App中無縫導航和操作來滿足Windows 操作系統(tǒng)上的用戶請求?？梢愿又悄艿乩斫庥脩舻囊鈭D，不用人工干預，自動執(zhí)行相應(yīng)的操作。

如果你想從一份Word文檔中提取文本、對照片應(yīng)用程序中的圖像進行觀察、以及總結(jié) PowerPoint中的內(nèi)容，利用所有這些信息撰寫一封深度的電子郵件內(nèi)容并完全自主發(fā)送時，你只需要借助一個UFO框架就可以完成。

這意味著，以前需要大量手動工作的跨應(yīng)用程序工作流程，現(xiàn)在可以直接簡化為針對 UFO 的簡單自然語言指令。

UFO，或許會成為下一代Windows系統(tǒng)的核心。以后搭載windows系統(tǒng)的筆記本電腦等移動終端，將會因UFO而開啟全新用戶體驗。

重點在于，其他系統(tǒng)也會效仿Windows，AI Agent將會成為各個系統(tǒng)的標配。

把LLM以及AI Agent裝入PC或者移動終端，硬件廠商將其稱作AI PC或者AI 手機。

自從LLM能夠在端側(cè)部署之后，硬件廠商們就開啟了狂飆模式，而LLM的落地應(yīng)用主要途徑的AI Agent模式也首先進入其法眼。

在2024 CES上，聯(lián)想首次提出“智能終端AI OS”，即在AI技術(shù)驅(qū)動下，智能終端將內(nèi)嵌個人Agent（智能體）、個人大模型、本地知識庫、應(yīng)用接口，形成下一代AI OS。并認為，AI技術(shù)的突破將在PC、手機、AIoT等所有智能終端產(chǎn)品領(lǐng)域掀起第三次技術(shù)革命浪潮，重塑終端體驗及產(chǎn)業(yè)生態(tài)。

據(jù)悉，聯(lián)想個人Agent或?qū)⒃?月份與用戶見面。

面對新生代AI硬件設(shè)備AI pin和Rabbit R1 所展現(xiàn)的“準AI Agent”屬性，手機廠商們早已經(jīng)坐不住，強勢展開了對AI智能體的角逐。

1月份，小米、華為、vivo、理想等幾家公司聯(lián)合清華大學智能產(chǎn)業(yè)研究院（AIR）共同發(fā)布了一篇個人LLM智能體綜述論文（也是一個標準），該論文梳理了個人LLM智能體所需的能力、效率和安全問題，收集并整理了領(lǐng)域?qū)＜业囊娊?，還開創(chuàng)性地提出了個人LLM智能體的5級（L1—L5）智能水平分級法。

論文地址：

https://arxiv.org/abs/2401.05459

文獻庫：

https://github.com/MobileLLM/Personal_LLM_Agents_Survey

今后各家的智能體處于什么水平，參照這個標準便會一目了然，也為移動終端的Agent構(gòu)建提供了更多參考方向。當然，這個標準的推出也意味著廠商們對于移動終端智能體的積極探索與更大的市場需求。

OPPO等推出的AI手機，用戶實測后的感觸是越來越像Agent，至少已經(jīng)能夠達到上述標準的L2級。

OPPO與IDC在聯(lián)合發(fā)布的《AI手機白皮書》中，還給AI手機下了一個明確的定義。

OPPO還公布1+N智能體生態(tài)戰(zhàn)略，核心包括OPPO AI超級智能體和AI Pro智能體開發(fā)平臺。

其中1指的是AI手機的智能OS，扮演AI時代操作系統(tǒng)的角色，具備傳統(tǒng)智能手機不支持的自學習感知能力、長期記憶能力和工具調(diào)用能力。它可以與用戶專屬的智能體、第三方智能體的交互和信息統(tǒng)籌。N指的就是前面所述的用戶智能體和第三方智能體等構(gòu)成的全新智能體生態(tài)。

理想汽車參與這份標準的研究，則映射的是AI Agent適配人車交互場景的廣闊市場。國盛證券在一篇報告中指出，AI Agent面向復雜任務(wù)處理，充分適合人車交互場景，是數(shù)字人的核心演進方向。

座艙智能化時代，用戶在駕乘中會有各種個性化需求，數(shù)字人被賦予更多的施展能力的空間，其使命是通過AI Agent實現(xiàn)AGI向汽車座艙滲透，實現(xiàn)三屏互動（手機屏、車載屏和家用屏）。

而Meta與雷朋合作推出的第二代智能眼鏡，接入多模態(tài)AI后，也開始向AI Agent”靠攏。不必再為不同任務(wù)選用不同應(yīng)用程序，只需用日常用語告訴設(shè)備需求，眼鏡就能基于軟件獲取的信息，為用戶作出量身回應(yīng)。

企服的爆發(fā)：Agent漸成標配

科技巨頭公司及企業(yè)服務(wù)廠商，也早在AI Agent移動終端的應(yīng)用方面下足了功夫。

字節(jié)跳動在2月初正式推出了「Coze 扣子」AI Bot 開發(fā)平臺。任何用戶都可以快速、低門檻地搭建自己的 Chatbot，且平臺支持用戶將其一鍵發(fā)布到飛書、微信公眾號、豆包等渠道。

除了可以創(chuàng)建自己的Chatbot，Coze官方還提供了Bots 商店和插件。插件的使用，可以讓用戶構(gòu)建的機器人更加強大。

通過Coze構(gòu)建的機器人，與OpenAI的GPTs類似，主要用于交互并能夠?qū)崿F(xiàn)一定的業(yè)務(wù)流程操作，可以算是初級智能體。

其更早推出的豆包，也是一個構(gòu)建智能體的平臺。

釘釘在1月發(fā)布的釘釘7.5版本，也是全量上線AI Agent產(chǎn)品“AI助理”。釘釘平臺上的Agent，能夠通過釘釘內(nèi)的企業(yè)協(xié)同場景，迅速將AI Agent用起來，積累數(shù)據(jù)。這個助理擁有真正的執(zhí)行能力，并非停留在和用戶的交互層面，可以進行信息摘要、寫工作總結(jié)、寫文檔等通用的辦公工作。

用友發(fā)布的YonGPT，也能通過上下文記憶、知識/庫表索引、Prompt工程、Agent執(zhí)行、通用工具集等擴充大模型的存儲記憶、適配應(yīng)用和調(diào)度執(zhí)行能力，再結(jié)合財稅、人力、供應(yīng)鏈、研發(fā)等領(lǐng)域的知識和最佳實踐擴充大模型專業(yè)能力，從而形成體系化的企業(yè)服務(wù)大模型。

以上這些平臺的Agent，憑借SaaS屬性，都可以在手機端絲滑使用。

除了以上公司，一些創(chuàng)業(yè)公司以及專注超自動化的廠商，也陸續(xù)推出了能夠應(yīng)用于移動端的Agent產(chǎn)品。

比如實在智能也推出了手機Agent智能體，只需一句話直接傳達自己的意圖，就可以幫你操作所有電腦、手機的軟件完成各類工作和生活的目標任務(wù)，通過自主學習和模仿人類的點擊和滑動手勢，可以在手機上操作App執(zhí)行各種任務(wù)。

背后的邏輯：發(fā)展趨勢使然

在很多人還沒有弄懂什么是AI Agent的時候，大部分人以為Agent更適合在PC端執(zhí)行各種任務(wù)的時候，廠商們已經(jīng)在悄然布局AI Agent在移動端的應(yīng)用了。

王吉偉頻道認為，廠商們之所以急于將AI Agent拓展至移動端，大概有以下幾點原因：

用戶需求：隨著技術(shù)的發(fā)展，用戶對智能手機和設(shè)備的期望越來越高，他們希望設(shè)備不僅僅是工具，還能成為日常生活的助手。Agent能夠理解用戶的需要，并為他們提供個性化服務(wù)，改善用戶體驗。

增強粘性：通過提供Agent服務(wù)，可以讓用戶更頻繁地與設(shè)備互動，增加用戶對品牌的忠誠度和設(shè)備的使用頻率。

競爭優(yōu)勢：隨著市場競爭的加劇，廠商需要不斷創(chuàng)新以保持競爭力，集成先進的Agent技術(shù)可以作為賣點，吸引消費者購買。

商業(yè)模式創(chuàng)新：AI Agent可以開辟新的收入渠道和商業(yè)模式，比如通過智能推薦系統(tǒng)促進銷售，或者通過訂閱服務(wù)提供高級功能。

開拓新的收入流：智能Agent往往能夠與其他服務(wù)或產(chǎn)品相結(jié)合，為廠商創(chuàng)造新的收入渠道，如智能家居控制、電子商務(wù)購物、內(nèi)容訂閱等。

提高工作效率：在企業(yè)服務(wù)領(lǐng)域，AI Agent可以幫助員工處理日常任務(wù)，提高工作效率，減少重復勞動，讓員工有更多時間專注于更有價值的工作。

客戶服務(wù)改善：AI Agent可以提供24/7的客戶服務(wù)，不僅提高了響應(yīng)速度，還能夠處理大量的客戶咨詢，提升客戶滿意度。

除了以上幾點原因，還有重要的一點便在于AI Agent行業(yè)發(fā)展趨勢。

畢竟，按照比爾蓋茨的觀點，AI Agent將徹底改變?nèi)藗兙€下和線上的生活方式，改變每個人與計算機的互動方式，還將顛覆軟件行業(yè)。

就智能手機而言，Gartner在相關(guān)報告中的觀點認為，生成式AI智能手機配備了硬件和軟件功能，能夠無縫集成和高效執(zhí)行智能手機上的Gen AI驅(qū)動功能和應(yīng)用程序。它們能夠在本地運行基礎(chǔ)或微調(diào)的人工智能模型，產(chǎn)生新的衍生版本的內(nèi)容、策略、設(shè)計和方法。

無疑，這對于提升用戶體驗以及使用手機提升生產(chǎn)力有著莫大的幫助。

Forrester在相關(guān)報告中給出的兩組預測數(shù)據(jù)，也很好地說明了這個趨勢。

到2027年，超過60%的個人電腦微處理器將集成設(shè)備上的人工智能功能。隨著設(shè)備上的人工智能成為標準要求，這一比例將從2023年的10%上升。

同時，到2027年，智能手機中超過70%的其他應(yīng)用處理器將集成設(shè)備上通用功能，而2023年這一比例為5%，設(shè)備上通用將成為一項標準要求。

處理器集成LLM，將會極大地拓展AI Agent的存在空間，并會進一步提升用戶體驗。

按照OpenAI CEO奧特曼的說法，Open AI的愿景是讓ChatGPT化身“超級智能工作個人助理”，為全能的AGI（通用人工智能）鋪路。

顯然，包括GPTs在內(nèi)的AI Agent將會承載這個使命，而移動端Agent才是變革過往生產(chǎn)效率的真正開始。

手機智能體：跨端跨應(yīng)用場景開啟

前文我們不只一次提到了手機上的AI智能體。能夠在手機上應(yīng)用并執(zhí)行各種任務(wù)的Agent，都可以視作手機Agent\手機智能體。

而AI手機本身，也是一個Agent。在OPPO AI中心產(chǎn)品總監(jiān)張峻看來，AI手機不僅有底層硬件的需求，也有OS層面AI化和交互體驗的革新，它更像是一個超級智能體。

手機智能體不僅是智能助手的升級版，更是一種新的互動方式。它們能夠感知用戶的需求、自主決策執(zhí)行，甚至學會用戶的習慣，為用戶提供更為個性化的服務(wù)。這種技術(shù)的發(fā)展將為我們帶來更加智能化、便捷和高效的手機體驗。

與PC端的Agent類似，目前的手機Agent一般分為兩種：一種是被釘釘稱作交互式的Agent，主要用于各種文字、圖片等的生成以及各種問答；另一種是能夠直接操作部分生態(tài)內(nèi)業(yè)務(wù)應(yīng)用的業(yè)務(wù)類Agent。在表現(xiàn)形式上，它們都是軟件機器人。

但手機Agent的構(gòu)建并不一定在手機端，也可以在PC端。

手機Agent的目的是通過在手機上運行Agent程序或者軟件去執(zhí)行各種對于手機的操作，以完成各種辦公場景中的任務(wù)，所以這個Agent的形態(tài)可能就是一個應(yīng)用，或者是通過APP去調(diào)用的某個打包的可執(zhí)行文件。

事實上，受限于手機訪問屏障門檻越發(fā)變高的趨勢，從PC端構(gòu)建AI智能體是目前TO B領(lǐng)域的主流移動Agent解決方案。從電腦端觸發(fā)手機智能體會有更大的優(yōu)勢，更能滿足B端客戶移動業(yè)務(wù)實現(xiàn)的需求，并能兼顧用戶的工作與生活細節(jié)。

在王吉偉頻道看來，我們?nèi)粘９ぷ髦械拇蟛糠謽I(yè)務(wù)流程會分散到多端設(shè)備上，構(gòu)建一個能夠跨終端的Agent去處理跨端、跨軟件、跨部門的業(yè)務(wù)流程是非常必要的，也是所有企業(yè)及辦公人員的剛需。

手機智能體最強的能力展現(xiàn)就是調(diào)用手機端的一切應(yīng)用，一邊滿足企業(yè)用戶工作+生活并兼顧用戶在各場景中的便利，另一邊讓個人用戶一句話就暢享專屬手機智能體助理的貼心服務(wù)。

此外，由企業(yè)服務(wù)廠商推出的企業(yè)級手機Agent能夠做到足夠的安全級別，不用擔心隱私數(shù)據(jù)泄露等安全隱患。

以實在智能推出“手機+Agent”結(jié)合的手機智能體為例，它可以打破手機App的界限，跨應(yīng)用操作任何手機軟件完成任務(wù)。

手機Agent能夠通過模仿人類的直觀動作來與手機應(yīng)用程序交互，就像一個真人用戶一樣，可以查詢天氣訂機票、預約餐廳訂位、進行在線購物、編輯圖片或制作視頻，也可以操作辦公軟件發(fā)送郵件、采集業(yè)務(wù)數(shù)據(jù)和處理表格、提交工作流程審批單等等，只需一個指令，手機Agent智能體在瞬息間即可幫你完成。

例如，春節(jié)開工期間，您正忙于工作，無暇分身向客戶發(fā)送開工問候，類似于此的重復性工作，在手機智能體的幫助下就可以自動完成，只需對手機說出“向標簽為客戶的好友發(fā)送開工問候”的需求，它就可以識別您的微信標簽備注，向該標簽下所有客戶發(fā)送專屬問候語，成為你的手機辦公助理。

與傳統(tǒng)的Siri等智能語言助手不同的是，這個手機智能體不是簡單的命令執(zhí)行者，而是規(guī)劃、決策和執(zhí)行的多面手，通過ISSUT（智能屏幕語義理解技術(shù)）視覺能力進行整個操縱過程，無侵入接口，也不需要系統(tǒng)后臺訪問用戶的隱私、敏感數(shù)據(jù)來實現(xiàn)操作。

此外，PC智能體已經(jīng)生成的業(yè)務(wù)流程跟蹤，也已經(jīng)在手機端實現(xiàn)。比如，企業(yè)的高管通過手機智能體就可以輕松獲取當日最新控制臺業(yè)務(wù)分析數(shù)據(jù)，掌握第一手業(yè)務(wù)動態(tài)，及時將需要關(guān)注的動態(tài)發(fā)送給技術(shù)或支持人員等，提高工作的靈活性和信息反饋效率。

這個邏輯，是用手機去控制PC端智能體去執(zhí)行相關(guān)的業(yè)務(wù)操作，這種跨系統(tǒng)、跨終端的連接型操作是基于手機Agent平臺構(gòu)建的Agent所無法實現(xiàn)的。

這也意味著，在B端的具體業(yè)務(wù)應(yīng)用上，AI Agent已經(jīng)完成從原來的 “你說，PC做”到“你說，手機做”的跨越，并實現(xiàn)了“你說，PC+手機一起做”。

短短幾個月時間，AI Agent就已經(jīng)涌向移動終端，手機智能體實現(xiàn)了跨端跨應(yīng)用、場景聯(lián)動。國產(chǎn)廠商對于AI Agent的應(yīng)用探索，一直處于潮流前端，真的是難能可貴。

從PC端智能體無縫切到手機智能體，以及用手機操作PC智能體的應(yīng)用場景絲滑轉(zhuǎn)換，可以說是繼PC智能體后的又一智能體的突破性落地范例。

實在智能推出的手機Agent智能體，驗證了AI Agent的實用性，在移動Agent領(lǐng)域做出了一個很好的應(yīng)用示范，其未來有更多創(chuàng)新的多模態(tài)框架探索。

手機智能體未來：終端Agent智能革命

手機智能體將會為大家?guī)硇碌幕臃绞脚c個性化服務(wù)，并帶來更加智能化、便捷和高效的手機體驗。

未來，隨著手機智能體的不斷發(fā)展，它將會成為更加強大、智能化的存在，成為我們生活的一部分。當然手機智能體嶄露頭角，也預示著手機和移動終端行業(yè)新紀元的到來。

比爾·蓋茨認為，AI智能體最令人興奮的影響是它們將使當今對大多數(shù)人來說過于昂貴的服務(wù)民主化。并指出，智能體不僅會改變每個人與計算機交互的方式，還將顛覆軟件行業(yè)，帶來自我們從鍵入命令到點擊圖標以來最大的計算革命。

現(xiàn)在看來，手機智能體帶來的終端Agent智能革命，大概率會承載這一重要的歷史使命。

【王吉偉頻道，關(guān)注AIGC與IoT，專注數(shù)字化轉(zhuǎn)型、業(yè)務(wù)流程自動化與RPA。】