天天視訊！浪潮信息助力淮海智算中心，千億參數(shù)AI大模型訓(xùn)練算力效率超50%

2023-02-20 16:18:06 來(lái)源: 電子創(chuàng)新網(wǎng)

(資料圖片)

近日，淮海智算中心攜手浪潮信息進(jìn)行了超大規(guī)模參數(shù)AI大模型訓(xùn)練性能測(cè)試，實(shí)測(cè)數(shù)據(jù)表明，千億參數(shù)規(guī)模的自然語(yǔ)言AI單體大模型在淮海智算中心計(jì)算平臺(tái)上的訓(xùn)練算力效率達(dá)53.5%，刷新了業(yè)內(nèi)AI大模型訓(xùn)練算力效率新高。這意味著淮海智算中心將可為國(guó)內(nèi)生成式AI創(chuàng)新團(tuán)隊(duì)提供高性能、高效率的AI大模型訓(xùn)練算力服務(wù)。

生成式AI需要基于海量的自然語(yǔ)言或多模態(tài)數(shù)據(jù)集，對(duì)擁有巨大參數(shù)的超大規(guī)模AI模型進(jìn)行訓(xùn)練，其訓(xùn)練所需AI算力當(dāng)量非常高，如以PD(Petaflops-Day)為單位來(lái)衡量，OpenAI的GPT-3大模型訓(xùn)練的算力當(dāng)量為3640PD，而浪潮"源1.0"大模型的算力當(dāng)量則為4095PD。

超大規(guī)模AI大模型的訓(xùn)練一般必須在擁有成百上千加速卡的AI服務(wù)器集群上進(jìn)行，如何在AI計(jì)算集群上獲得更高的訓(xùn)練算力效率則會(huì)直接影響到模型訓(xùn)練時(shí)長(zhǎng)以及算力消耗成本，這對(duì)于提升生成式AI研發(fā)創(chuàng)新效率有著非常重要的影響。據(jù)公開(kāi)資料表明，GPT-3大模型在其V100?GPU集群上的訓(xùn)練算力效率為21.3%，而浪潮"源1.0"的訓(xùn)練算力效率則達(dá)到了44.8%。

針對(duì)AI大模型訓(xùn)練的計(jì)算特點(diǎn)，浪潮信息AI團(tuán)隊(duì)對(duì)淮海智算中心算力系統(tǒng)進(jìn)行了專(zhuān)業(yè)設(shè)計(jì)，對(duì)集群架構(gòu)、高速互聯(lián)、算力調(diào)度等方面進(jìn)行全面優(yōu)化，在系統(tǒng)架構(gòu)上，采用單節(jié)點(diǎn)集成8顆加速器的AI服務(wù)器，節(jié)點(diǎn)內(nèi)加速器間實(shí)現(xiàn)超高速P2P通信，節(jié)點(diǎn)間建立極低延遲、超高帶寬的Infiniband通信網(wǎng)絡(luò)。在大模型訓(xùn)練技術(shù)層面，成功運(yùn)用了中文巨量AI模型"源1.0"的訓(xùn)練優(yōu)化經(jīng)驗(yàn)，對(duì)分布式訓(xùn)練策略進(jìn)行了針對(duì)性?xún)?yōu)化，通過(guò)合理設(shè)計(jì)張量并行、流水并行和數(shù)據(jù)并行，精準(zhǔn)調(diào)整模型結(jié)構(gòu)和訓(xùn)練過(guò)程的超參數(shù)，最終實(shí)現(xiàn)了千億參數(shù)規(guī)模AI大模型的訓(xùn)練算力效率達(dá)到53.5%。

千億參數(shù)AI模型結(jié)構(gòu)及其實(shí)際性能表現(xiàn)

關(guān)鍵詞：浪潮信息模型結(jié)構(gòu) 自然語(yǔ)言通信網(wǎng)絡(luò) 性能測(cè)試

天天視訊！浪潮信息助力淮海智算中心，千億參數(shù)AI大模型訓(xùn)練算力效率超50%

您可能也感興趣:

今日熱點(diǎn)

中國(guó)算力發(fā)展指數(shù)白皮書(shū)發(fā)布廣東算力創(chuàng)新水平和研發(fā)投入居首

生命科技標(biāo)準(zhǔn)創(chuàng)新研討會(huì)舉行打通標(biāo)準(zhǔn)應(yīng)用“最后一公里”

“黑科技”廣泛應(yīng)用我國(guó)單位GDP二氧化碳排放持續(xù)下降

更多

更多

排行

最近更新

今日要聞

天天視訊！浪潮信息助力淮海智算中心，千億參數(shù)AI大模型訓(xùn)練算力效率超50%

您可能也感興趣:

今日熱點(diǎn)

中國(guó)算力發(fā)展指數(shù)白皮書(shū)發(fā)布 廣東算力創(chuàng)新水平和研發(fā)投入居首

生命科技標(biāo)準(zhǔn)創(chuàng)新研討會(huì)舉行 打通標(biāo)準(zhǔn)應(yīng)用“最后一公里”

“黑科技”廣泛應(yīng)用 我國(guó)單位GDP二氧化碳排放持續(xù)下降

為您推薦

近十年財(cái)險(xiǎn)業(yè)務(wù)快速發(fā)展 財(cái)產(chǎn)保險(xiǎn)業(yè)風(fēng)險(xiǎn)保障水平不提升

遼寧擴(kuò)大緩繳社保費(fèi)政策實(shí)施范圍 補(bǔ)繳期間免收滯納金

增額終身壽險(xiǎn)成銀保市場(chǎng)上的黑馬 中途退保恐會(huì)損失保費(fèi)

保險(xiǎn)公司紛紛探索轉(zhuǎn)型之路 聚焦細(xì)分業(yè)務(wù)、推出新產(chǎn)品

更多

更多

排行

最近更新

今日要聞

中國(guó)算力發(fā)展指數(shù)白皮書(shū)發(fā)布廣東算力創(chuàng)新水平和研發(fā)投入居首

生命科技標(biāo)準(zhǔn)創(chuàng)新研討會(huì)舉行打通標(biāo)準(zhǔn)應(yīng)用“最后一公里”

“黑科技”廣泛應(yīng)用我國(guó)單位GDP二氧化碳排放持續(xù)下降

近十年財(cái)險(xiǎn)業(yè)務(wù)快速發(fā)展財(cái)產(chǎn)保險(xiǎn)業(yè)風(fēng)險(xiǎn)保障水平不提升

遼寧擴(kuò)大緩繳社保費(fèi)政策實(shí)施范圍補(bǔ)繳期間免收滯納金

增額終身壽險(xiǎn)成銀保市場(chǎng)上的黑馬中途退保恐會(huì)損失保費(fèi)

保險(xiǎn)公司紛紛探索轉(zhuǎn)型之路聚焦細(xì)分業(yè)務(wù)、推出新產(chǎn)品