Ilya出走記：SSI的超級(jí)安全革命

　 域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過

圖片｜OpenAI官網(wǎng)

©自象限原創(chuàng)

作者丨羅輯、程心

和OpenAI分道揚(yáng)鑣以后，Ilya“神秘而偉大”的事業(yè)終于揭開了面紗。

6月20日，前OpenAI核心創(chuàng)始人 Ilya Stuskever，在官宣離職一個(gè)月后，Ilya在社交媒體平臺(tái)公開了最新的動(dòng)向：將成立新的實(shí)驗(yàn)室Superintellgence（以下簡(jiǎn)稱SSI），構(gòu)建安全的超級(jí)智能。

▲圖源：社交媒體X截圖

這個(gè)名，明眼人一看就知道是沖著OpenAI去的。

2023年12月，在OpenAI十年的Ilya官宣離職引起了整個(gè)AI圈的軒然大波。雖然離職的具體原因撲朔迷離，但在Ilya離職前后，OpenAI負(fù)責(zé)模型安全的由Ilya主導(dǎo)的超級(jí)對(duì)齊(Superalignment)實(shí)驗(yàn)室宣布解散，外界紛紛推測(cè)，Ilya一直以來的理念是謹(jǐn)慎地發(fā)展人工智能，與Altman大刀闊斧地推進(jìn)技術(shù)的戰(zhàn)略相左。

而SSI，首先堅(jiān)持了OpenAI成為非營(yíng)利組織獨(dú)立實(shí)驗(yàn)室的初衷，其次踐行了Ilya一直以來對(duì)模型安全的謹(jǐn)慎態(tài)度。并且Ilya還補(bǔ)充道：我們將以一個(gè)焦點(diǎn)、一個(gè)目標(biāo)、一個(gè)產(chǎn)品，直接追求安全的超級(jí)智能。

▲圖源：社交媒體X截圖

截至發(fā)稿前，Sam Altman并未回應(yīng)，并沒有讓吃瓜群眾們預(yù)想的“Altman假惺惺的表示祝福”成真。

而之所以業(yè)內(nèi)如此重視Ilya在這個(gè)節(jié)點(diǎn)成立SSI，并不只是因?yàn)檫@個(gè)人，更是大模型的發(fā)展已經(jīng)到了不得不重視模型安全的重要節(jié)點(diǎn)。

在剛剛過去的北京智源大會(huì)上，楊植麟、張鵬等一線創(chuàng)業(yè)者也曾討論過這個(gè)問題，我們對(duì)模型安全的重視程度遠(yuǎn)遠(yuǎn)小于它的重要程度，而SSI的成立，或許會(huì)開辟一條與OpenAI完全相反的路。

用Ilya的眼睛，看AI的危險(xiǎn)

似乎Ilya對(duì)模型安全是執(zhí)拗的，甚至被人暗指“沒必要”。“如果不是因?yàn)樗荗penAI的技術(shù)首腦，曾一手打造了GPT、DALLE-E等明星產(chǎn)品，SSI根本不會(huì)受到如此大的關(guān)注。”

但他們卻忽略了，Ilya對(duì)人工智能技術(shù)的重要性，并不是從OpenAI開始的，而是從他的老師辛頓就奠定了他的話語權(quán)。

從80年代就開始戰(zhàn)斗在人工智能最前線的辛頓，被譽(yù)為“深度學(xué)習(xí)之父”。作為教授的他桃李滿天下（包括吳恩達(dá)），在他年輕一代的學(xué)生中，Ilya是最得意的門生之一。

▲圖源：辛頓和Ilya合影

2023年5月初，辛頓辭去他在谷歌擔(dān)任了十多年的職位，表示作出這個(gè)決定是為了可以自由討論“人工智能的危險(xiǎn)”。此后，他頻繁接受媒體采訪，不遺余力地對(duì)人工智能可能操縱人類發(fā)出警報(bào)。

盡管人類可以賦予人工智能一些倫理原則，但辛頓仍然感到緊張，“因?yàn)榈侥壳盀橹?，我還想象不到更智能的事物被一些沒它們智能的事物所控制的例子。打個(gè)比方，假設(shè)青蛙創(chuàng)造了人類，那么你認(rèn)為現(xiàn)在誰會(huì)占據(jù)主動(dòng)權(quán)，是人，還是青蛙？”

師從辛頓的Ilya，幾乎完全繼承了被辛頓“蒸餾”過的，對(duì)于人工智能的謹(jǐn)慎，以及在謹(jǐn)慎之下的小心翼翼。

Ilya之于OpenAI，許多網(wǎng)友都認(rèn)為他的個(gè)人貢獻(xiàn)要大于Sam Altman。如果說SamAltman是OpenAI的面子，那Ilya就是OpenAI的里子，或者說是技術(shù)靈魂。

私底下的Ilya很內(nèi)向但卻并不膽怯。他之所以如此，很多人好奇，他作為影響這個(gè)世界技術(shù)變革的人，一定看到了什么。

但卻沒有人知道。

Ilya在OpenAI打造的超級(jí)對(duì)齊實(shí)驗(yàn)室，目的就是為了通過可控的技術(shù)手段使得AI發(fā)展的路徑可控，確保AGI的發(fā)展符合人類利益。

一些前OpenAI員工透露,Ilya對(duì)超級(jí)對(duì)齊實(shí)驗(yàn)室的工作非常重視，并親自參與其中。他希望通過這一實(shí)驗(yàn)室的工作，為未來的AGI系統(tǒng)設(shè)計(jì)出可靠的對(duì)齊方案。

想要理解何為“超級(jí)對(duì)齊”，就要演示一下現(xiàn)在的對(duì)齊技術(shù)，通過RHLF注入，能夠?qū)崿F(xiàn)兩種對(duì)齊：一種是價(jià)值觀的對(duì)齊：比如不要建立男女的性別對(duì)立、不要歧視同性戀等等；另一種是話題層面的對(duì)齊：明確國(guó)家的邊界、不讓搞黃色、不能詐騙等等。但I(xiàn)lya所謂的超級(jí)對(duì)齊，卻并不是這么簡(jiǎn)單。

有人還記得人工智能的三原則么？

其中之一便是“無條件服從人類”，而價(jià)值觀和話題的對(duì)齊是遠(yuǎn)遠(yuǎn)不足以完成這個(gè)目標(biāo)的，Ilya他認(rèn)為技術(shù)的本質(zhì)類似于人類的生物進(jìn)化，如果進(jìn)化的開始，是一個(gè)沒有“無條件對(duì)人類的愛”的 AI，那等它長(zhǎng)成AGI以后，也一定不可控。

對(duì)應(yīng)了他在X中發(fā)表的：直接追求安全的超級(jí)智能。

沒錯(cuò)，超級(jí)對(duì)齊的本質(zhì)其實(shí)是通過讓大模型產(chǎn)生“對(duì)人類無條件的愛”。

這聽起來似乎很扯淡，但或許SSI的本質(zhì)就是如此。

人，AI安全的最后一道防線

那么問題來了，大部分人做不到。

是的，可能大部分公司都是OpenAI而非SSI。那么除了大模型公司在內(nèi)部致力于構(gòu)建一個(gè)安全、可信的大模型之外，這兩年隨著技術(shù)和應(yīng)用的發(fā)展，社會(huì)各界也對(duì)AI和大模型的安全作出了許多努力。

2021年11月，聯(lián)合國(guó)教科文組織就曾通過《人工智能倫理問題建議書》，希望為人工智能的發(fā)展，以及預(yù)防其潛在風(fēng)險(xiǎn)提供建議。

今年3月份，聯(lián)合國(guó)教科文組織總干事奧德蕾·阿祖萊還在公開呼吁，希望各國(guó)盡快實(shí)施這項(xiàng)建議，為人工智能發(fā)展設(shè)立倫理標(biāo)準(zhǔn)。

而隨著中國(guó)AI大模型的蓬勃發(fā)展，中國(guó)企業(yè)也越來越多地參與到了這類國(guó)際AI安全準(zhǔn)則的制定中。

比如今年4月在日內(nèi)瓦召開的聯(lián)合國(guó)科技大會(huì)上，世界數(shù)字技術(shù)院（WDTA）發(fā)布了《生成式人工智能應(yīng)用安全測(cè)試標(biāo)準(zhǔn)》和《大語言模型安全測(cè)試方法》兩項(xiàng)國(guó)際標(biāo)準(zhǔn)。

而這兩項(xiàng)標(biāo)準(zhǔn)，由來自百度、騰訊、螞蟻集團(tuán)、科大訊飛等眾多中國(guó)企業(yè)的專家學(xué)者共同參與編制而成。

在國(guó)際組織通過編制規(guī)范指導(dǎo)AI安全發(fā)展的同時(shí)，各地政府的法案也在相繼落地。

5月21日，歐洲的《人工智能法案》正式獲得了歐洲理事會(huì)的批準(zhǔn)。這項(xiàng)法案最早由歐盟委員會(huì)在2021年提出，作為全球首個(gè)AI法案，它通過構(gòu)建廣泛適用的人工智能監(jiān)管機(jī)制，為人工智能技術(shù)的發(fā)展提供了法律框架，為全球的AI監(jiān)管提供了可借鑒的法律基礎(chǔ)。

國(guó)內(nèi)AI安全相關(guān)的政策則落地在2023年7月，國(guó)家網(wǎng)信辦聯(lián)合國(guó)家發(fā)改委、工信部等七部門，公布了《生成式人工智能服務(wù)管理暫行辦法》，該辦法就生成式人工智能可能面臨的安全問題提出了一系列明確的約束規(guī)范。

當(dāng)然，法律規(guī)定的社會(huì)的下限，大模型安全的上線仍然需要在產(chǎn)業(yè)界尋找答案。

我們前面提到，大模型在公司內(nèi)部訓(xùn)練的過程中，需要通過數(shù)據(jù)、算法、學(xué)習(xí)框架等多個(gè)維度保證大模型的安全可靠。

但其實(shí)在公司外部，完成訓(xùn)練的大模型要推向市場(chǎng)，還存在一套由第三方完成的大模型安全測(cè)試評(píng)估框架，目前主流的安全性測(cè)評(píng)方法主要有固定數(shù)據(jù)集測(cè)評(píng)和紅隊(duì)模型測(cè)評(píng)兩類。

2023年，OpenAI在GPT-4發(fā)布之前就曾對(duì)其進(jìn)行了六個(gè)多月的評(píng)估、測(cè)試及改進(jìn)。在這輪測(cè)試中，OpenAI就邀請(qǐng)了AI領(lǐng)域?qū)＜覅⑴c紅隊(duì)測(cè)試（Red Teaming） 以識(shí)別安全風(fēng)險(xiǎn)。

固定數(shù)據(jù)集測(cè)評(píng)，則是由研究人員針對(duì)大模型的各類安全風(fēng)險(xiǎn)制定風(fēng)險(xiǎn)評(píng)估矩陣，類似績(jī)效考核打分。

研究人員通過人類標(biāo)注數(shù)據(jù)的方式采集安全性評(píng)估數(shù)據(jù)，然后以測(cè)試模型在這些數(shù)據(jù)集上的表現(xiàn)評(píng)估模型的安全程度。

2023年底，OpenAI在官網(wǎng)公布了名叫“Preparedness Framework”的安全評(píng)估框架，是這類固定數(shù)據(jù)集測(cè)評(píng)的范本之一。

▲OpenAI安全評(píng)估模型的計(jì)分卡，圖源：OpenAI官網(wǎng)

在國(guó)內(nèi)，清華大學(xué)計(jì)算機(jī)系的黃民烈研究團(tuán)隊(duì)在2023年3月就發(fā)布了大模型安全分類體系，該團(tuán)隊(duì)從系統(tǒng)層面和模型層面出發(fā)，打造更可控、可信的大模型安全框架，是國(guó)內(nèi)較早參與到模型安全評(píng)估體系的團(tuán)隊(duì)之一。

除此之外，螞蟻安全實(shí)驗(yàn)室也推出了大模型安全檢測(cè)平臺(tái)“蟻鑒2.0”和大模型風(fēng)險(xiǎn)防御平臺(tái)“天鑒”兩大產(chǎn)品。

在具體能力上，風(fēng)險(xiǎn)監(jiān)測(cè)平臺(tái)可以診療檢測(cè)、定位問題；風(fēng)險(xiǎn)防御平臺(tái)可以對(duì)風(fēng)險(xiǎn)進(jìn)行防治。

比如在大模型生成可控問題上，螞蟻安全實(shí)驗(yàn)室提出了如通過SFT、RLHF/RRHF、RLAIF等技術(shù)和高質(zhì)量標(biāo)注做人類對(duì)齊；在圖像方面做風(fēng)險(xiǎn)抑制，進(jìn)行可控調(diào)試；為大模型外掛千萬級(jí)安全知識(shí)庫生成和檢索等等方式。

在模型層面的問題之外，使用模型帶來的安全問題也同樣重要。

6月11日，蘋果在WWDC上推出了其全新的 AI 系統(tǒng)“Apple Intelligence”。為了保護(hù)用戶隱私和數(shù)據(jù)安全，蘋果將大模型的工作分為兩類。

其中簡(jiǎn)單的任務(wù)在手機(jī)設(shè)備端執(zhí)行，保證數(shù)據(jù)不離開手機(jī)。如果是需要調(diào)用云端算力的復(fù)雜任務(wù)，蘋果打造了一套具備芯片級(jí)別隱私和安全保護(hù)的服務(wù)器——“Private Cloud Compute”。這套服務(wù)器可以實(shí)現(xiàn)加密傳輸，服務(wù)器只識(shí)別數(shù)據(jù)，不收集數(shù)據(jù)，且在任務(wù)完成后，該數(shù)據(jù)也會(huì)被立即刪除。

其中關(guān)鍵的一點(diǎn)是，Apple Intelligence集成了GPT-4o作為第三方大模型支持。為了保證數(shù)據(jù)安全和用戶的知情權(quán)，蘋果設(shè)置Siri啟用Chat GPT時(shí)會(huì)向用戶提出申請(qǐng)。

也就是說，在蘋果的安全框架里，雖然企業(yè)會(huì)做好一切前期準(zhǔn)備，但用戶自己才是安全防范的最后一道防火墻。

就像OpenAI一直都在官網(wǎng)提醒用戶，“在使用 GPT-4 輸出的內(nèi)容時(shí)應(yīng)格外小心，特別是在高風(fēng)險(xiǎn)場(chǎng)景下（如醫(yī)學(xué)、化學(xué)等領(lǐng)域），需要人工核查事實(shí)準(zhǔn)確性或者避免使用 AI 給出的答案。”

所以，雖然身處AI時(shí)代，工具已經(jīng)如此強(qiáng)大，但在一切工具就緒之后，我們?nèi)詰?yīng)記住，我們自己才是保護(hù)自己的最后一道防線。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！