適配超20＋芯片廠(chǎng)商，昇思MindSpore大模型之路走南闖北

機(jī)器之心原創(chuàng)

作者：澤南

上周科技領(lǐng)域這場(chǎng)備受關(guān)注的大會(huì)，展示的都是前沿 AI 應(yīng)用。

【資料圖】

利用神經(jīng)網(wǎng)絡(luò)求解，在中科院大連化學(xué)物理研究所，以前用超算也無(wú)法完成的水分子運(yùn)動(dòng)方程計(jì)算效率提高了 1000 倍。?

通過(guò)跨模態(tài)統(tǒng)一表征學(xué)習(xí)，中科院自動(dòng)化所和武漢人工智能研究院聯(lián)合打造的「紫東太初」2.0，讓大模型第一次進(jìn)入了全模態(tài)時(shí)代，同時(shí)支持多輪問(wèn)答、文本創(chuàng)作、圖像生成、3D 理解、信號(hào)分析等任務(wù)。

在 6 月 16 日的人工智能框架生態(tài)峰會(huì) 2023 上，我們見(jiàn)證了科學(xué)和 AI 領(lǐng)域的一系列技術(shù)突破，這些進(jìn)展的背后都是 AI 框架昇思 MindSpore 在提供支持。

人工?智能的發(fā)展正在催生出前所未有的應(yīng)用，AI 框架的重要性逐漸凸顯，而在這個(gè)過(guò)程中，昇思已成為很多公司機(jī)構(gòu)的 AI 基礎(chǔ)設(shè)施。

在峰會(huì)現(xiàn)場(chǎng)，昇思生態(tài)的參與者們公布了圍繞 AI 框架生態(tài)的一系列合作，包括但不限于：?jiǎn)?dòng)上海昇思 AI 框架和大模型創(chuàng)新中心、發(fā)布「共建人工智能框架生態(tài)，繁榮中國(guó)人工智能產(chǎn)業(yè)」聯(lián)合倡議、成立昇思 MindSpore 開(kāi)源社區(qū)理事會(huì)。

還有新技術(shù)和新方向，昇思的 2.0 正式版在易用性、生態(tài)兼容和 AI for Science 等方面有了里程碑式的提升。

其中最引人關(guān)注的，是事關(guān) AI 算力的重要一步：走南向。

實(shí)現(xiàn)「多芯一生態(tài)」

我們知道，AI 框架在人工智能技術(shù)構(gòu)建的流程中承擔(dān)著「操作系統(tǒng)」一樣的關(guān)鍵角色。它集成了算法封裝、數(shù)據(jù)處理、計(jì)算資源調(diào)用等能力，面向開(kāi)發(fā)者提供方便的開(kāi)發(fā)界面和高效的執(zhí)行平臺(tái)，是現(xiàn)階段 AI 算法開(kāi)發(fā)的必備工具。

昇思 MindSpore 在機(jī)器學(xué)習(xí)開(kāi)發(fā)的過(guò)程中起到上承應(yīng)用、下接芯片的橋梁意義。

為了持續(xù)拓展連接的廣度，AI 框架需要向兩個(gè)方向不斷延伸：「南向」為 AI 芯片算力帶來(lái)標(biāo)準(zhǔn)化，「北向」與開(kāi)發(fā)者和算法廠(chǎng)商開(kāi)展技術(shù)聯(lián)創(chuàng)，圍繞場(chǎng)景創(chuàng)新、重要需求創(chuàng)造更多可能性。

在生態(tài)峰會(huì)上，昇思宣布了「南向」的新進(jìn)展：昇思已兼容適配 20 余家芯片廠(chǎng)商伙伴的硬件設(shè)備，打通云端智能、邊緣智能、端側(cè)智能，實(shí)現(xiàn)端邊云全場(chǎng)景協(xié)同?，F(xiàn)在，昇思已經(jīng)讓智能無(wú)所不在。

統(tǒng)一生態(tài)是昇思一直以來(lái)努力的目標(biāo)。通過(guò)兼容不同架構(gòu)、不同廠(chǎng)商的算力，昇思現(xiàn)在可以在 AI 框架的層面上實(shí)現(xiàn)統(tǒng)一、無(wú)感知的調(diào)用，而無(wú)需擔(dān)心硬件適配能力，這種能力覆蓋 NPU、GPGPU、CPU 等主流計(jì)算架構(gòu)。對(duì)開(kāi)發(fā)者來(lái)說(shuō)，昇思從開(kāi)發(fā)界面、框架能力等多個(gè)方面都做到了統(tǒng)一視角，應(yīng)用可以同時(shí)在多種硬件后端之間平滑遷移。

實(shí)際的應(yīng)用效果如何？現(xiàn)在在云上環(huán)境中，開(kāi)發(fā)者的同一套腳本可以不受資源限制地使用，比如可以先用 GPU 進(jìn)行訓(xùn)練，當(dāng) NPU 資源可用時(shí)，不進(jìn)行腳本修改就能直接切換至 NPU 繼續(xù)訓(xùn)練。對(duì)于端側(cè)的 AI 應(yīng)用，昇思可以將云側(cè)訓(xùn)練的模型無(wú)縫部署到端側(cè)進(jìn)行推理。

這種能力大幅降低了 AI 開(kāi)發(fā)的門(mén)檻。面向異構(gòu)算力，通過(guò)昇思提供的標(biāo)準(zhǔn)南向接口與算子集，開(kāi)發(fā)者可以讓整體芯片使能周期大大縮短，無(wú)需再進(jìn)行全量重新開(kāi)發(fā)。同時(shí)借助于框架的公共能力，如自動(dòng)并行、自動(dòng)微分、模型導(dǎo)出等，我們?cè)谛掠布弦材芸焖偻瓿?AI 應(yīng)用的開(kāi)發(fā)、訓(xùn)練、推理全流程。

通過(guò)軟硬件垂直整合方式搞優(yōu)化，融合不同算力，還讓它們都能發(fā)揮出最大能力，昇思所做的事在 AI 框架上屬于意義重大，但難以實(shí)現(xiàn)。讓算力在 AI 框架層面上實(shí)現(xiàn)統(tǒng)一面臨很多挑戰(zhàn)：首先，不同架構(gòu)的芯片在算力配比、通信能力、內(nèi)存規(guī)格等方面都有一定差異，而要充分發(fā)揮芯片算力，要解決算子執(zhí)行效率、存儲(chǔ)、運(yùn)行時(shí)調(diào)度優(yōu)化等問(wèn)題。

從技術(shù)架構(gòu)上，昇思 MindSpore 為支持多硬件統(tǒng)一也做了不少事，包括：

實(shí)現(xiàn)后端架構(gòu)的解耦，快速支持新芯片插件化對(duì)接，包括支持第三方自定義圖優(yōu)化 Pass 注冊(cè)，屏蔽資源管理細(xì)節(jié)，及驅(qū)動(dòng)層接口注冊(cè)； 支持抽象硬件類(lèi)型建模，讓對(duì)接流程實(shí)現(xiàn)標(biāo)準(zhǔn)化； 支持抽象算子封裝，統(tǒng)一了算子接口，支持多平臺(tái)算子庫(kù)動(dòng)態(tài)注冊(cè)，框架層實(shí)現(xiàn)異構(gòu)算子選擇； 支持第三方圖 IR 接入，以充分發(fā)揮芯片的架構(gòu)優(yōu)勢(shì)。 公共組件實(shí)現(xiàn)跨硬件復(fù)用，如內(nèi)存復(fù)用算法、內(nèi)存池實(shí)現(xiàn)、統(tǒng)一運(yùn)行時(shí)等。

現(xiàn)在，開(kāi)發(fā)者用同一套腳本就可以在多個(gè)硬件后端上執(zhí)行 AI 任務(wù)，無(wú)需做面向硬件的修改。另外，框架的能力，如自動(dòng)并行、自動(dòng)微分、融合優(yōu)化等都是基于統(tǒng)一 IR 來(lái)構(gòu)建的，因此可以在多個(gè)硬件后端上進(jìn)行復(fù)用，也無(wú)需芯片廠(chǎng)商進(jìn)行重新適配。

面向異構(gòu)的執(zhí)行環(huán)境，如 CPU+GPU、CPU+NPU 等，昇思的統(tǒng)一 IR 支持做異構(gòu)的子圖切分，不同的子圖可以下發(fā)到不同的異構(gòu)硬件上執(zhí)行，這些異構(gòu)切分可以由框架自動(dòng)完成，同時(shí)也支持用戶(hù)手動(dòng)指定執(zhí)行硬件。

昇思的目標(biāo)很明確：做 AI 應(yīng)用和異構(gòu)算力間的橋梁，降低開(kāi)發(fā)者使用算力的門(mén)檻，讓芯片算力能夠觸及更多的開(kāi)發(fā)者和應(yīng)用場(chǎng)景。通過(guò)大力發(fā)展「南向」，昇思幫開(kāi)發(fā)者解決了核心問(wèn)題，也可以實(shí)現(xiàn)更大規(guī)模的并行化，例如跨算力中心的協(xié)同計(jì)算和異構(gòu)計(jì)算，這無(wú)疑會(huì)大大加速大模型等技術(shù)的應(yīng)用。

另一方面，通過(guò)連接昇思這一流行 AI 框架的生態(tài)，國(guó)產(chǎn)化 AI 算力在這一過(guò)程中也能被更好地應(yīng)用起來(lái)。

做業(yè)界領(lǐng)先的 AI 框架

自 2020 年 3 月發(fā)布首個(gè)版本以來(lái)，昇思作為業(yè)內(nèi)矚目的 AI 框架經(jīng)歷了快速發(fā)展。圍繞昇思的社區(qū)，已是國(guó)內(nèi)最具創(chuàng)新活力的 AI 開(kāi)源社區(qū)。

過(guò)去十年，AI 領(lǐng)域經(jīng)歷了從技術(shù)突破到應(yīng)用落地的階段轉(zhuǎn)換，眾多科技公司、研究機(jī)構(gòu)發(fā)布 AI 框架，但只有少數(shù)成為了主流，其中既包括 TensorFlow、PyTorch、JAX 等國(guó)外框架，也有昇思 MindSpore 和飛槳這樣的國(guó)內(nèi)佼佼者。

科研論文數(shù)量是衡量創(chuàng)新能力的重要指標(biāo)，基于 MindSpore 的頂會(huì)論文如今已超過(guò) 900 篇，據(jù) Papers with Code 統(tǒng)計(jì)，2022 年使用 MindSpore 的頂級(jí)會(huì)議論文在國(guó)內(nèi) AI 框架中排名第一，全球范圍內(nèi)僅次于 PyTorch，位列第二。

昇思的開(kāi)源生態(tài)匯集了超過(guò) 1.3 萬(wàn)貢獻(xiàn)者，通過(guò)超 10 家高校參與的社區(qū)模型眾智活動(dòng)，目前其平臺(tái)已有超過(guò) 400 個(gè)主流模型，這些成果不斷推動(dòng)著 AI 能力的全場(chǎng)景應(yīng)用，有超過(guò) 5500 家企業(yè)應(yīng)用了昇思能力實(shí)現(xiàn)了智能化技術(shù)落地。

可以說(shuō)，昇思訓(xùn)練 - 推理 - 全場(chǎng)景協(xié)同、全流程降低開(kāi)發(fā)門(mén)檻、全架構(gòu)統(tǒng)一的三大愿景已在逐步實(shí)現(xiàn)。從地球系統(tǒng)模擬、自動(dòng)駕駛，到預(yù)訓(xùn)練大模型訓(xùn)練，再到蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)，各行業(yè)的開(kāi)發(fā)者在昇思上實(shí)現(xiàn)了 AI 開(kāi)發(fā)自由，不斷推動(dòng)著技術(shù)創(chuàng)新和應(yīng)用落地。

在 2.0 的大版本更新上，昇思在大模型能力、科學(xué)計(jì)算和 AI 技術(shù)落地上繼續(xù)實(shí)現(xiàn)大幅改進(jìn)。

目前行業(yè)內(nèi)的新需求是生成式 AI 落地，在這方面昇思有自己的獨(dú)特優(yōu)勢(shì)：三年前首版本發(fā)布時(shí)，昇思主打的就是面向大模型的自動(dòng)并行特性。作為一款 AI 框架，昇思將大模型開(kāi)發(fā)的系統(tǒng)工程難題集成到軟件框架中解決，沉淀出了整套從預(yù)訓(xùn)練到場(chǎng)景應(yīng)用的大模型實(shí)踐方案。

首先是基礎(chǔ)模型，昇思社區(qū)開(kāi)源了超過(guò) 15 個(gè)基礎(chǔ)預(yù)訓(xùn)練模型以及訓(xùn)練腳本，包括當(dāng)前最具備代表性的 BLOOM，LLaMA 等。人們可以方便地以此作為基礎(chǔ)，然后通過(guò)昇思 2.0 正式推出的大模型全流程解決方案完成從開(kāi)發(fā) - 訓(xùn)練 - 微調(diào)到部署的全過(guò)程。

以 LLaMA 模型為例：在腳本開(kāi)發(fā)階段，從 Transformer 模型庫(kù)中一鍵導(dǎo)入 LLaMA 并調(diào)用 Trainer 高階 API，你只需要十行代碼就能完成算法腳本的開(kāi)發(fā)。在訓(xùn)練階段，如果算力有限，昇思可以通過(guò)異構(gòu)與存儲(chǔ)優(yōu)化技術(shù)實(shí)現(xiàn)基于一臺(tái)服務(wù)器，八張訓(xùn)練卡支持千億參數(shù)大模型訓(xùn)練。

而面向大規(guī)模集群方案，昇思原生了支持業(yè)界最完善的 9 種數(shù)據(jù)和模型并行模式，以及斷點(diǎn)續(xù)訓(xùn)等高可靠方案，算力資源利用率比業(yè)界水平要高 15%。

進(jìn)入場(chǎng)景微調(diào)階段，昇思 2.0 通過(guò)集成多種低參微調(diào)的算法，如 LoRA，Adapter 等，可實(shí)現(xiàn)一行代碼運(yùn)行 LLaMA 的低參微調(diào)，也支持千億級(jí)模型進(jìn)行 RLHF。

在推理部署階段，昇思提供模型壓縮工具，結(jié)合不同的硬件能力，支持模型規(guī)模 5~20 倍壓縮，同時(shí)精度損耗小于 0.5%，并且支持異構(gòu)及多級(jí)存儲(chǔ)優(yōu)化的能力，單卡推理規(guī)模提升至千億。

過(guò)去三年，昇思社區(qū)幫助業(yè)界完成了紫東。太初、鵬程系列等百億、千億級(jí)大模型，根據(jù)《中國(guó)人工智能大模型地圖研究報(bào)告》中的數(shù)據(jù)，基于昇思孵化的產(chǎn)業(yè)落地大模型，占到國(guó)內(nèi)總數(shù)的 40%。

除大模型之外，昇思也一直在推動(dòng) AI 使能科學(xué)計(jì)算，并積極推動(dòng)進(jìn)一步降低 AI 應(yīng)用門(mén)檻，針對(duì)行業(yè)重點(diǎn)場(chǎng)景，打造了系列場(chǎng)景化開(kāi)發(fā)套件。通過(guò)與啟智 OpenI 社區(qū)聯(lián)合打造的 MS-Adapter 項(xiàng)目，昇思在保留原生 API 能力的同時(shí)，實(shí)現(xiàn)了業(yè)界主流框架 Pytorch 大多數(shù) API 的兼容。

MindSpore 生態(tài)的未來(lái)

簡(jiǎn)單來(lái)說(shuō)，通過(guò)昇思 MindSpore 業(yè)界領(lǐng)先的能力，大模型可以更快落地，更多行業(yè)可以實(shí)現(xiàn)智能化重塑。

在 AI 領(lǐng)域，新技術(shù)的探索讓我們找到未來(lái)方向，而 AI 框架可以幫助我們將技術(shù)轉(zhuǎn)化為生產(chǎn)力。昇思已為我們鋪好了路，通過(guò)提供開(kāi)箱即用的套件，它正在滿(mǎn)足各領(lǐng)域開(kāi)發(fā)者的需求。

通過(guò)一系列共建與合作，昇思正在不斷完善生態(tài)伙伴體系和「朋友圈」，基于 AI 框架的多芯一體生態(tài)還會(huì)不斷壯大。

未來(lái)，昇思還將持續(xù)提升框架的易用性，兼容業(yè)界生態(tài)，降低開(kāi)發(fā)者編程門(mén)檻。在技術(shù)上進(jìn)一步提升自動(dòng)并行的核心能力，實(shí)現(xiàn)大模型從訓(xùn)練到推理部署的端到端閉環(huán)。

昇思 AI 框架，將會(huì)成為更多行業(yè)的首選。

責(zé)任編輯：

關(guān)鍵詞：