【世界播資訊】高通押注混合AI，終端側(cè)或?qū)⑦\(yùn)行100億參數(shù)模型

2022年末，美國人工智能公司Open AI推出了ChatGPT對話模型，迅速風(fēng)靡全球并快速迭代，其在不到4個(gè)月后又發(fā)布了能力更強(qiáng)大的GPT-4，而后乘勝追擊，推出了聯(lián)網(wǎng)和第三方應(yīng)用插件功能，不斷刷新人們對生成式AI強(qiáng)大能力的認(rèn)知。毫無疑問，生成式AI帶來的巨大機(jī)遇將成為業(yè)界變革的轉(zhuǎn)折點(diǎn)。

(資料圖片僅供參考)

然而，隨著生成式 AI 模型使用量和復(fù)雜性的不斷增長，僅在云端進(jìn)行推理并“不劃算”，因?yàn)榘ㄓ布龅?、能耗、運(yùn)營、額外帶寬和網(wǎng)絡(luò)傳輸在內(nèi)的數(shù)據(jù)中心基礎(chǔ)設(shè)施成本也將持續(xù)增加。而將一些處理從云端轉(zhuǎn)移到邊緣終端，則可以減輕云基礎(chǔ)設(shè)施的壓力并減少開支。這也是為何混合 AI 對生成式 AI 的規(guī)模化應(yīng)用至關(guān)重要。

高通技術(shù)公司作為終端側(cè)AI領(lǐng)導(dǎo)者，面向包括手機(jī)、汽車、XR頭顯與眼鏡、PC和物聯(lián)網(wǎng)等在內(nèi)的數(shù)十億邊緣終端，可以提供行業(yè)領(lǐng)先的硬件和軟件解決方案，對推動混合AI規(guī)?；瘮U(kuò)展獨(dú)具優(yōu)勢。6月16日，高通正式發(fā)布了白皮書《混合AI是AI的未來》，進(jìn)一步闡釋了混合AI在大模型時(shí)代的優(yōu)勢，以及高通如何憑借終端側(cè)AI領(lǐng)導(dǎo)力、全球化規(guī)模和生態(tài)系統(tǒng)賦能，讓混合AI成為現(xiàn)實(shí)。

“混合AI是AI的未來”

所謂的混合AI是指終端和云端協(xié)同工作，在適當(dāng)?shù)膱鼍昂蜁r(shí)間下分配AI計(jì)算的工作負(fù)載，以提供更好的體驗(yàn)，并高效利用資源。在一些場景下，計(jì)算將主要以終端為中心，在必要時(shí)向云端分流任務(wù)。在以云為中心的場景下，終端將根據(jù)自身能力，在可能的情況下從云端分擔(dān)一些AI工作負(fù)載。而混合AI架構(gòu)可以根據(jù)模型和查詢需求的復(fù)雜度等因素，選擇不同方式在云端和終端側(cè)之間分配處理負(fù)載。例如，如果模型大小、提示(prompt)和生成長度小于某個(gè)限定值，并且能夠提供可接受的精確度，推理即可完全在終端側(cè)進(jìn)行。如果是更復(fù)雜的任務(wù)，模型則可以跨云端和終端運(yùn)行。

此外，混合AI還能支持模型在終端側(cè)和云端同時(shí)運(yùn)行，也就是在終端側(cè)運(yùn)行輕量版模型時(shí)，在云端并行處理完整模型的多個(gè)標(biāo)記(token)，并在需要時(shí)更正終端側(cè)的處理結(jié)果。更重要的是，隨著強(qiáng)大的生成式AI模型不斷縮小，以及終端側(cè)處理能力的持續(xù)提升，混合AI的潛力將會進(jìn)一步增長。參數(shù)超過10億的AI模型已經(jīng)能夠在手機(jī)上運(yùn)行，且性能和精度達(dá)到與云端相似的水平。不久的將來，擁有100億或更高參數(shù)的模型將能夠在終端上運(yùn)行?；旌螦I可以說是能夠適用于幾乎所有生成式AI應(yīng)用和終端領(lǐng)域，包括手機(jī)、筆記本電腦、XR頭顯、汽車和物聯(lián)網(wǎng)，并在成本、能耗、性能、隱私、安全和個(gè)性化體驗(yàn)方面更具優(yōu)勢。

例如，在成本方面，生成式 AI 搜索可以提供更加出色的用戶體驗(yàn)和搜索結(jié)果，但每一次搜索查詢 ，其成本是傳統(tǒng)搜索方法的10倍。所以，當(dāng)前面向大語言模型推理的云計(jì)算架構(gòu)，將導(dǎo)致搜索引擎企業(yè)的運(yùn)營成本升高。但混合AI能夠利用現(xiàn)已部署的、具備 AI 能力的數(shù)十億邊緣終端，以及未來還將具備更高處理能力的數(shù)十億終端，在一定程度上減輕運(yùn)營成本壓力。

在能耗方面，邊緣終端能夠以很低的能耗運(yùn)行生成式AI模型，尤其是將處理和數(shù)據(jù)傳輸相結(jié)合時(shí)。而在時(shí)延方面，當(dāng)生成式 AI 查詢對于云的需求達(dá)到高峰期時(shí)，會產(chǎn)生大量排隊(duì)等待和高時(shí)延，甚至可能出現(xiàn)拒絕服務(wù)的情況，向邊緣終端轉(zhuǎn)移計(jì)算負(fù)載可防止這一現(xiàn)象發(fā)生。

高通全棧AI優(yōu)化

眾所周知，高通已經(jīng)將其AI能力帶入了包括智能手機(jī)、筆記本電腦、PC、汽車在內(nèi)的眾多終端產(chǎn)品中，其終端側(cè)AI技術(shù)在大模型時(shí)代下也將成為推動混合AI規(guī)模化落地的重要推力。據(jù)高通技術(shù)公司產(chǎn)品管理高級副總裁兼AI負(fù)責(zé)人Ziad Asghar介紹，高通已經(jīng)在飛行模式下實(shí)現(xiàn)了全球首個(gè)Android手機(jī)上的Stable Diffusion終端側(cè)演示。Stable Diffusion是一個(gè)參數(shù)超過10億的超大神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型，能夠基于輸入的文本提示生成圖片。而通過高通的全棧AI優(yōu)化，這一模型能夠完全在終端側(cè)運(yùn)行，實(shí)現(xiàn)在15秒內(nèi)完成20步推理，生成飽含細(xì)節(jié)的圖像。

Ziad Asghar也直言，雖然高通目前已經(jīng)能夠支持Stable Diffusion這一超過10億參數(shù)的模型在終端側(cè)運(yùn)行，但許多關(guān)鍵的生成式AI模型的規(guī)?？梢赃_(dá)到10億到100億參數(shù)之間，例如文本生成圖像、自然語言處理、編程、圖像理解、圖像創(chuàng)作等。所以，在未來幾個(gè)月內(nèi)，高通將有望支持參數(shù)超過100億的模型在終端側(cè)運(yùn)行。而這無疑也將成為基于高通技術(shù)的產(chǎn)品的重要差異化優(yōu)勢。

此外，通過高通AI軟件棧，高通已經(jīng)實(shí)現(xiàn)在搭載驍龍計(jì)算平臺的筆記本電腦上運(yùn)行Stable Diffusion。憑借行業(yè)領(lǐng)先的高通AI引擎，基于驍龍計(jì)算平臺的筆記本電腦在MLCommons V3.0上率先實(shí)現(xiàn)了出色的MLPerf基準(zhǔn)測試結(jié)果。同時(shí)，高通也是唯一一家能夠在MLCommons V3.0的筆記本電腦品類中獲得測試結(jié)果的公司，這也正是因?yàn)槠鋼碛心軌蛟诮K端側(cè)運(yùn)行如此大規(guī)模AI用例的硬件引擎。

其實(shí)，早在2022年6月，高通就推出了專門面向邊緣側(cè)AI的領(lǐng)先軟件棧產(chǎn)品——高通AI軟件棧，將其所有相關(guān)的 AI 軟件產(chǎn)品集成在統(tǒng)一的解決方案中。OEM 廠商和開發(fā)者可在其產(chǎn)品上創(chuàng)建、優(yōu)化和部署 AI 應(yīng)用，充分利用高通 AI 引擎性能，讓 AI 開發(fā)者創(chuàng)建一次 AI模型，即可跨高通所有硬件運(yùn)行 AI 負(fù)載。談及高通AI軟件棧的核心優(yōu)勢，Ziad Asghar表示，基于高通AI軟件棧的模型一旦開發(fā)出來，就可以在不同地方使用，再與混合AI部署相結(jié)合，形成殺手級的組合，將幫助生成式AI在不同終端上進(jìn)行規(guī)?；瘮U(kuò)展，實(shí)現(xiàn)生成式AI的普及。

未來，高通將不斷提高邊緣側(cè)支持的模型參數(shù)閾值，Ziad Asghar提出，在不久的將來，擁有100億或更大參數(shù)的生成式AI模型將能夠在終端上運(yùn)行。

關(guān)鍵詞：