CPU上跑AI？從推薦系統(tǒng)的演進看CPU的崛起

在信息和數(shù)據(jù)極度繁榮的當下，人工智能正在通過各種方式影響著人類生活。其中，AI推薦系統(tǒng)作為互聯(lián)網時代最關鍵的伴生技術之一，正在幫助人類梳理著各種紛繁雜亂的信息，讓資源實現(xiàn)更精準的調配，讓一切變得井然有序。

推薦系統(tǒng)：數(shù)字營銷的重要引擎

當你到一座旅游城市，不知道當?shù)赜惺裁疵朗硶r，AI推薦系統(tǒng)在手機上的本地生活平臺會為你列出當?shù)厮忻朗常?/p>

當你在線上購物，不知道時下有哪些新款式衣服時，AI推薦系統(tǒng)在電商平臺上又會為你列出應季又適合你的衣服。

對于企業(yè)而言，AI推薦系統(tǒng)更為重要，在浩渺的商業(yè)世界里，AI推薦系統(tǒng)就像一條秩序鏈，通過這條秩序鏈，數(shù)以千萬計的企業(yè)得以找到分布在全球各地最需要他們產品的用戶。

上海市人工智能行業(yè)協(xié)會秘書長鐘俊浩指出：“隨著人工智能技術的迅速發(fā)展及軟硬件進步，我們正步入一個AI技術廣泛應用并深刻影響各行各業(yè)的新時代，與此同時，如今電商、個性化廣告等諸多商業(yè)場景背后都在以AI推薦系統(tǒng)作為依托，AI推薦系統(tǒng)已經是人工智能技術在商業(yè)領域最為成熟的應用之一。”

數(shù)字營銷就是使用了AI推薦系統(tǒng)的一個主要場景， 作為國內領先的商業(yè)數(shù)字營銷平臺，阿里媽媽就在用AI推薦系統(tǒng)為企業(yè)提供全鏈路的營銷解決方案。

阿里媽媽的使命是“讓天下沒有難做的營銷”，通過自研的數(shù)字營銷平臺，阿里媽媽每年都在為各行各業(yè)的商家和品牌解決一系列營銷和廣告投放問題，通過精準營銷幫助商家將產品推廣到最需要他們的消費者面前，從而幫助企業(yè)實現(xiàn)他們應有的價值。

為了將海量商品與消費者進行更加精準的匹配，阿里媽媽的AI推薦算法和模型在過往幾年里一直在不斷升級迭代，與此同時，日益復雜的AI模型也使得AI推薦系統(tǒng)對硬件算力的需求越來越高。

“線上購物已經很普遍，實際上，每次用戶在線上瀏覽商品都會涉及百億量級的浮點運算”，阿里媽媽軟件工程師劉征宇解釋稱。

由此帶來的是日益增長的算力需求和有限算力供給之間的矛盾，這一矛盾也成了像阿里媽媽這樣基于人工智能技術開展數(shù)字營銷業(yè)務的企業(yè)的一大痛點。

要解決這一痛點，最直接的方法就是增加AI算力、優(yōu)化AI算法。尤其是AI算力的提升，是數(shù)字營銷業(yè)務不斷升級迭代最重要的保障。

是挑戰(zhàn)也是機遇，最適合的才是最好的

<iframe src="https://icon.zhiding.cn/swf/videoPlayer-new.html?Id=1951_4c6cba191ed082853f06c31ed021cc88&width=640&height=360" width="640" height="360" frameborder="0" data-mce-fragment="1"></iframe>

大模型的出現(xiàn)，讓GPU呼聲越來越高，似乎GPU在一夜之間成了人工智能技術在算力上的唯一選擇。

其實不然，在數(shù)字營銷這樣實際商業(yè)應用場景中，GPU不僅不是唯一選擇，甚至也可能不是最優(yōu)解。

實際上，人工智能技術對于算力的強需求主要來自于AI訓練和AI推理兩方面。而要想將人工智能技術轉化為各行各業(yè)的生產力，幫助各行各業(yè)提升生產效率，最關鍵的是AI推理。

鐘俊浩也做過解析：“在大模型深入產業(yè)的這一年里，越來越多行業(yè)開始關注AI推理，而如何將CPU發(fā)揮到極致，加速AI推理，并推動其產業(yè)落地就成了關鍵問題。”

某些硬件廠商對于推薦系統(tǒng)、語音識別、圖像識別、基因測序這樣傳統(tǒng)的AI應用，在CPU上已經做了大量的優(yōu)化。特別是在執(zhí)行AI推理任務時，經過優(yōu)化的大模型在CPU上已經可以實現(xiàn)高效執(zhí)行。 

英特爾數(shù)據(jù)中心和人工智能集團至強生態(tài)賦能事業(yè)部（中國）總經理李亞東就指出：“當模型很大，涉及到需要跨異構平臺計算時，使用CPU速度反而更快，效率也更高。”

2023年12月，英特爾在國內正式發(fā)布了第五代至強^® 可擴展處理器，它從多方面提升了硬件算力，包括頻率，功耗，LLC緩存，內存帶寬和延遲都有明顯的改進。

最關鍵的是它內置的英特爾^® 高級矩陣擴展（英特爾^® AMX技術），特別針對深度學習模型最常見的矩陣乘法運算優(yōu)化，支持BF16（訓練/推理）和INT8（推理）等常見數(shù)據(jù)類型。

英特爾^® AMX位于每個CPU內核上并靠近系統(tǒng)內存，可減少數(shù)據(jù)傳輸延遲、提高數(shù)據(jù)傳輸帶寬，并且同步降低實際使用上的復雜性。

實際上，在目前AI推薦系統(tǒng)面臨的硬件算力挑戰(zhàn)中，CPU已經成了解決AI推理計算需求的核心算力。

據(jù)劉征宇透露：“阿里媽媽在選擇以第五代英特爾^® 至強^® 可擴展處理器作為算力平臺，使用英特爾^® AMX和AVX-512優(yōu)化后，針對廣告推薦模型，性能相比第四代至強^® 可擴展處理器有了明顯提升，在滿足SLA的前提下，吞吐量提升（達）1.52倍。”

基于此，阿里媽媽通過不斷提升算力和優(yōu)化算法，使得整個營銷鏈條更加絲滑，也更加智能高效。

除了硬件創(chuàng)新，英特爾在軟件方面也在持續(xù)發(fā)力，以確?，F(xiàn)有的AI框架和應用能夠充分發(fā)揮出硬件潛力。

英特爾不僅持續(xù)為主流開源框架PyTorch、TensorFlow等貢獻力量，還提供了多種針對CPU平臺的優(yōu)化插件，如IPEX（Intel^® Extension for PyTorch）、ITEX（Intel^® Extension for TensorFlow）等，同時提供了諸如xFT（xFasterTransformer）、OpenVINO™ 工具套件等多種優(yōu)化工具。

“最適合的，才是最好的，我們現(xiàn)在最需要的不是無限高的算力，而是擁有足夠算力的超能戰(zhàn)士。”劉征宇進一步解釋稱。

同樣， CPU平臺廣泛部署、易于獲取，便于應用和優(yōu)化，能兼顧通用計算又能做推理加速，且不用為此導入異構帶來的各種復雜性，自然就會收獲高效的應用表現(xiàn)、落地速度和更強的成本競爭力。

以阿里媽媽所在的數(shù)字營銷應用場景為例，無論是矩陣乘法這樣計算密集型的AI運算，還是數(shù)據(jù)查詢這樣訪存密集型的AI運算，都離不開CPU的參與。

即便是在CPU-GPU協(xié)同應用場景中，GPU這樣協(xié)處理器的算力發(fā)揮作用，也非常依賴CPU的處理速度。

用CPU加速AI落地，未來可期，大有可為

如果說2023年是大模型技術爆發(fā)的一年，那么，2024年就是大模型深入產業(yè)應用的關鍵年。不論是大模型還是傳統(tǒng)的AI技術，要想得到落地，做到“快、好、省”才是關鍵。

CPU能確保整個系統(tǒng)的穩(wěn)定運行、各組件的高效通信協(xié)作，并最終推進任務的順利執(zhí)行。

除了熱門的AI推理和訓練，一條AI流水線中還包括數(shù)據(jù)預處理、后處理等可能需要CPU通用處理能力的環(huán)節(jié)。在這些環(huán)節(jié)中，CPU具備的通用性和靈活性，能夠適應各種不同的計算場景，適應廣泛的應用需求。

第五代至強^® 可擴展處理器充分考慮到這些需求，內置了諸如英特爾^® 數(shù)據(jù)流加速器（英特爾^® DSA）來主攻數(shù)據(jù)存儲與傳輸；英特爾^® 存內分析加速器 （英特爾^® IAA）來針對數(shù)據(jù)庫和數(shù)據(jù)分析加速；英特爾^® 數(shù)據(jù)保護與壓縮加速技術（英特爾^® QAT）來加速數(shù)據(jù)壓縮、對稱和非對稱數(shù)據(jù)加密解密，提高CPU效率和整體系統(tǒng)性能。

李亞東還指出：“從企業(yè)長遠發(fā)展來看，CPU在穩(wěn)定性、安全性等方面的表現(xiàn)值得信賴，這對于保護企業(yè)數(shù)據(jù)和客戶隱私至關重要。第五代至強^® 可擴展處理器內置的英特爾^® SGX和TDX，可以為企業(yè)分別提供更強、更易用的應用隔離能力和虛擬機層面的隔離和保密性，為現(xiàn)有應用提供了一條更簡便的向可信執(zhí)行環(huán)境遷移的路徑。”

未來英特爾數(shù)據(jù)中心產品組合，預計可以覆蓋通用計算與AI加速，實現(xiàn)從數(shù)據(jù)預處理、到模型訓練與優(yōu)化，再到部署與推理的AI“全管線”加速。

CPU不僅是老伙伴，還是新變量，隨著新一代CPU在各方面性能的不斷提升，CPU也正在成為為千行萬業(yè)企業(yè)智能化轉型提供源源不斷動力的心臟。

正如鐘俊浩所說：“持續(xù)創(chuàng)新和進化的CPU，在全新技術周期下，成為一代又一代科學家留給新時代最好的禮物。”