23年7月17日，英特爾AI產(chǎn)品戰(zhàn)略暨Gaudi2新品發(fā)布會(huì)在京舉行。會(huì)上，英特爾正式于中國市場(chǎng)推出第二代Gaudi深度學(xué)習(xí)加速器——Habana® Gaudi®2。作為英特爾從云到端產(chǎn)品組合的重要組成，Gaudi2致力于以領(lǐng)先的性價(jià)比優(yōu)勢(shì)，加速AI訓(xùn)練及推理，為中國用戶提供更高的深度學(xué)習(xí)性能和效率，從而成為大規(guī)模部署AI的更優(yōu)解。

英特爾執(zhí)行副總裁兼數(shù)據(jù)中心與人工智能事業(yè)部總經(jīng)理Sandra Rivera指出，“英特爾致力于通過為客戶提供廣泛的硬件選擇，并支持開放的軟件環(huán)境，加速人工智能技術(shù)的發(fā)展。憑借包括至強(qiáng)可擴(kuò)展處理器和Gaudi2深度學(xué)習(xí)加速器在內(nèi)的產(chǎn)品組合，英特爾正在降低人工智能的準(zhǔn)入門檻，并強(qiáng)化客戶在云端通過網(wǎng)絡(luò)和智能邊緣部署這一關(guān)鍵業(yè)務(wù)技術(shù)的能力，從而幫助構(gòu)建中國人工智能的未來。”

該Gaudi2深度學(xué)習(xí)加速器暨Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構(gòu)為基礎(chǔ)，以多方位性能與能效比提升，加速高性能大語言模型運(yùn)行。該加速器具備：

· 24個(gè)可編程Tensor處理器核心（TPCs）

· 21個(gè)100Gbps（RoCEv2）以太網(wǎng)接口

· 集成多媒體處理引擎

加速器的出色性能在6月公布的MLCommons® MLPerf®基準(zhǔn)測(cè)試中得到了充分認(rèn)證，其在GPT-3模型、計(jì)算機(jī)視覺模型ResNet-50（使用8個(gè)加速器）、Unet3D（使用8個(gè)加速器），以及自然語言處理模型BERT（使用8個(gè)和64個(gè)加速器）上均取得了優(yōu)異的訓(xùn)練結(jié)果。與市場(chǎng)上其他面向大規(guī)模生成式AI和大語言模型的產(chǎn)品相比，擁有卓越的性能與領(lǐng)先的性價(jià)比優(yōu)勢(shì)，能夠幫助用戶提升運(yùn)營效率的同時(shí)，降低運(yùn)營成本。

此外，Gaudi2可為大規(guī)模的多模態(tài)和語言模型提供出色的推理性能。在最近的Hugging Face評(píng)估中，其在大規(guī)模推理方面的表現(xiàn)，包括在運(yùn)行Stable Diffusion（另一個(gè)用于從文本生成圖像的最先進(jìn)生成式AI模型之一）、70億以及1760億參數(shù)BLOOMz模型時(shí)，在行業(yè)內(nèi)保持領(lǐng)先。

滿足大語言和多模態(tài)模型的需求

深度學(xué)習(xí)加速器的架構(gòu)旨在高效擴(kuò)展，以滿足大規(guī)模語言模型及生成式AI模型的需求。其每張芯片集成了21個(gè)專用于內(nèi)部互聯(lián)的100Gbps（RoCEv2 RDMA）以太網(wǎng)接口，從而實(shí)現(xiàn)低延遲服務(wù)器內(nèi)擴(kuò)展。

在Stable Diffusion訓(xùn)練上，Gaudi2展示了從1張卡至64張卡近線性99%的擴(kuò)展性。此外，MLCommons剛剛公布的MLPerf訓(xùn)練3.0結(jié)果，亦驗(yàn)證了Gaudi2處理器在1750億參數(shù)的GPT-3模型上，從256個(gè)加速器到384個(gè)加速器可實(shí)現(xiàn)令人印象深刻的接近線性的95%擴(kuò)展效果。

具備成熟的軟件支持，Gaudi2產(chǎn)品在中國市場(chǎng)正式上市

伴隨日益增長的生成式AI及大語言模型需求，英特爾亦致力于打造領(lǐng)先、成熟的軟件支持，充分釋放Gaudi2深度學(xué)習(xí)加速器性能。

為支持客戶輕松構(gòu)建模型，或?qū)?dāng)前基于GPU的模型業(yè)務(wù)和系統(tǒng)遷移到基于全新Gaudi2服務(wù)器，并幫助保護(hù)軟件開發(fā)投入，SynapseAI®軟件套件針對(duì)Gaudi平臺(tái)深度學(xué)習(xí)業(yè)務(wù)進(jìn)行了優(yōu)化，旨在與廣泛的軟件生態(tài)系統(tǒng)一起，幫助簡化模型的開發(fā)和遷移。SynapseAI集成了對(duì)TensorFlow和PyTorch框架的支持，并提供眾多流行的計(jì)算機(jī)視覺和自然語言參考模型，能夠滿足深度學(xué)習(xí)開發(fā)者的多樣化需求。

目前，英特爾正與浪潮信息合作，打造并發(fā)售基于Gaudi2深度學(xué)習(xí)加速器的浪潮信息AI服務(wù)器NF5698G7。該服務(wù)器集成了8顆Gaudi2加速卡HL-225B，還包含雙路第四代英特爾至強(qiáng)可擴(kuò)展處理器。