鄉(xiāng)村振興板塊8月30日跌0.75%，廈門象嶼領(lǐng)跌，主力資金凈流出3.93億元
2023-08-31 12:30:13
“燒錢”的大模型，如何邁過存儲這道坎？
2023-08-31 12:30:13 來源: Alter聊科技
幾乎每一個行業(yè)都在討論大模型，每一個行業(yè)巨頭都在訓(xùn)練大模型，人工智能已然進(jìn)入了大模型主導(dǎo)的時代。
想要占領(lǐng)大模型應(yīng)用的高地，數(shù)據(jù)和算力可以說是不可或缺的基石。和算力相關(guān)的討論已經(jīng)有很多，以至于英偉達(dá)的市值在2023年翻了兩番。同樣不應(yīng)小覷的還有數(shù)據(jù)，除了數(shù)據(jù)量的爆炸性增長，數(shù)據(jù)的讀取、寫入、傳輸?shù)然A(chǔ)性能，開始遇到越來越多的新挑戰(zhàn)。
01 “榨干”算力必須邁過的一道坎
在許多人的認(rèn)知里，訓(xùn)練大模型是一門燒錢的生意。坊間傳聞，GPT-4的訓(xùn)練成本高達(dá)10億美元，想要讓大模型釋放出應(yīng)有的“魔法”，“涌現(xiàn)”出對答如流的能力，需要一只“獨角獸”的前期投入。
(資料圖)
再具體一些的話，大模型訓(xùn)練的成本構(gòu)成中，硬件投資包括算力、運力、存力，其中算力相關(guān)硬件投資占比80%。畢竟一顆80GB的A100芯片在國外的定價就高達(dá)萬美元左右，一個千億級參數(shù)的大模型，往往需要上萬顆A100的算力。可在現(xiàn)實的訓(xùn)練過程中，GPU的平均利用率卻不足50%，制約因素包括大模型參數(shù)需要頻繁調(diào)優(yōu)、訓(xùn)練中斷后恢復(fù)周期長、數(shù)據(jù)加載速度慢等等。
不客氣的說，算力資源閑置的每一分鐘都是在燃燒經(jīng)費，倘若可以進(jìn)一步提高算力資源的利用率，等于間接降低了大模型的訓(xùn)練成本。要提到算力利用率，必須要邁過的一道坎就是數(shù)據(jù)讀寫性能的挑戰(zhàn)。
大模型在訓(xùn)練過程中，需要先讀取一塊數(shù)據(jù)，在數(shù)據(jù)讀取完成后進(jìn)行訓(xùn)練，訓(xùn)練過程中會讀取下一塊數(shù)據(jù)。如果訓(xùn)練結(jié)束時下一塊數(shù)據(jù)沒有讀取完成，就會造成一定的等待時間。再加上網(wǎng)絡(luò)波動、算力故障導(dǎo)致的訓(xùn)練中斷，即Checkpoint時刻，重啟訓(xùn)練會退回到前一個節(jié)點，同樣會產(chǎn)生算力空置的等待時間。
不那么樂觀的是，目前的訓(xùn)練數(shù)據(jù)通常以圖片、文檔等小文件的形式存在，意味著在訓(xùn)練過程中需要頻繁地讀取和寫入數(shù)據(jù)，并且需要支持快速地隨機(jī)訪問。何況大模型訓(xùn)練的原始數(shù)據(jù)集動輒幾十個TB，當(dāng)前文件系統(tǒng)的小文件加載速度不足100MB/s，無形中限制了整個系統(tǒng)的運轉(zhuǎn)效率。
根據(jù)第一性原理，大模型訓(xùn)練時算力利用率低的誘因是海量的小文件，傳統(tǒng)存儲系統(tǒng)無法高效地處理這些數(shù)據(jù)，導(dǎo)致加載速度緩慢。大模型訓(xùn)練的效率要達(dá)到極致，減少不必要的浪費，必須在數(shù)據(jù)上下功夫，準(zhǔn)確地說，必須要在數(shù)據(jù)存儲性能上進(jìn)行創(chuàng)新。
而華為在高性能NAS存儲上深耕多年，其OceanStor Dorado全閃存NAS擁有業(yè)界領(lǐng)先性能，尤其在海量小文件場景，性能做到了領(lǐng)先業(yè)界30%。
在openEuler開發(fā)者大會2023上，華為還攜手openEuler發(fā)布了NFS+協(xié)議，矛頭直指客戶端訪問OceanStor Dorado NAS的性能，試圖通過引入外置高性能并行文件存儲系統(tǒng)，縮短大模型訓(xùn)練中的等待時間，盡可能把算力的價值“榨”出來。
02 華為NFS+協(xié)議帶來的“屠龍術(shù)”
揭開華為NFS+協(xié)議的“面紗”前，似乎有必要回顧下NFS協(xié)議的歷史。作為Sun公司在1984年開發(fā)的分布式文件系統(tǒng)協(xié)議，NFS已經(jīng)存在了近40年，廣泛應(yīng)用于金融、EDA仿真、話單、票據(jù)影像等行業(yè)。
只是在時間的推移下，“老將”NFS逐漸暴露出了一些短板。比如傳統(tǒng)NFS單個掛載點僅指定一個服務(wù)端IP地址，在網(wǎng)口故障或者鏈路故障場景下，可能出現(xiàn)掛載點無法訪問的情況；一端故障時IP無法感知時，僅依靠應(yīng)用層手動掛載文件系統(tǒng)，雙活鏈路無法自動切換；單個掛載點性能受限于單個物理鏈路性能，重要業(yè)務(wù)存在性能瓶頸。
大約在兩年前，華為開始了NFS+協(xié)議的研發(fā)，著力解決傳統(tǒng)NFS的不足，最終交出了一份“高可靠高可用”的答卷：
一是可靠性。打個比方的話，傳統(tǒng)NFS的客戶端和服務(wù)端之間僅有一條路，NFS+協(xié)議允許單個NFS掛載點使用多個IP進(jìn)行訪問，等于在客戶端和服務(wù)端之間修了多條路，巧妙解決了傳統(tǒng)NFS被詬病的“可靠性”問題。
二是多鏈路聚合。客戶端和服務(wù)端之間僅有一條路時，一旦出現(xiàn)事故就會導(dǎo)致交通擁堵；而NFS+協(xié)議在選路算法的加持下，實現(xiàn)了單個掛載點在多條鏈路上均衡下發(fā)IO，確保服務(wù)端和客戶端的數(shù)據(jù)傳輸暢通無阻。
三是緩存加速。大模型訓(xùn)練時，需要將元數(shù)據(jù)緩存到計算節(jié)點。傳統(tǒng)NFS相對保守，緩存過期的時間比較短。而NFS+協(xié)議改善了緩存大小和失效機(jī)制，可以讓元數(shù)據(jù)更多、更長時間保存在主機(jī)側(cè)，以滿足大模型訓(xùn)練的高時延需求。
四是數(shù)據(jù)視圖同步。正如前面所提到的，大模型訓(xùn)練需要快速的隨機(jī)訪問，NFS+協(xié)議采用了數(shù)據(jù)視圖同步的方式，大模型訓(xùn)練需要讀取某個節(jié)點的數(shù)據(jù)時，直接與對應(yīng)節(jié)點高效地放置和訪問數(shù)據(jù)，找到最優(yōu)的訪問鏈路。
做一個總結(jié)的話，NFS+協(xié)議采用了高性能并行文件存儲系統(tǒng)的設(shè)計，針對海量小文件場景進(jìn)行了特殊優(yōu)化，比如多鏈路聚合、緩存加速、數(shù)據(jù)視圖同步等，均在提升海量小文件的讀寫性能，最終在大模型訓(xùn)練過程中實現(xiàn)“讀寫快、少等待”，減少算力的空置時間。
一組Client測試數(shù)據(jù)印證了NFS+協(xié)議的路線正確：相較于傳統(tǒng)的文件存儲，訓(xùn)練樣本小IO隨機(jī)讀性能提升了4倍以上，CheckPoint大文件切片+多路徑傳輸提升了4-6倍的帶寬能力，足以滿足大模型訓(xùn)練的苛刻要求。
03 數(shù)據(jù)存儲進(jìn)入到“大模型時代”
某種程度上說，大模型訓(xùn)練催生的數(shù)據(jù)存儲性能要求，不過是文件存儲系統(tǒng)加速演變的一個側(cè)面。
直到今天，文件存儲的需求仍在不斷更新，文件系統(tǒng)的創(chuàng)新也在持續(xù)發(fā)生，就像大模型訓(xùn)練需求所折射出的演進(jìn)方向。
要知道，英偉達(dá)的一個訓(xùn)練節(jié)點，每秒就可以處理2萬張圖片，每個節(jié)點需要8萬IOPS，大模型典型配置有是千億參數(shù)千卡，單位時間內(nèi)對海量小文件的讀寫頻率要求極高。
這恐怕也是華為和openEuler聯(lián)合發(fā)布NFS+協(xié)議的原因，市場對于文件系統(tǒng)的創(chuàng)新需求驟然加快，勢必會引發(fā)頭部科技企業(yè)圍繞數(shù)據(jù)存儲的“軍備競賽”，華為無疑是這場競賽中沖在最前面的玩家之一。
但對文件存儲系統(tǒng)的市場格局稍作了解的話，華為自研NFS+協(xié)議，還隱藏著另一重深意。
一方面，Lustre、GFPS、BeeGFS等并行系統(tǒng)的MDS方案，將元數(shù)據(jù)和文件數(shù)據(jù)訪問分開，仍存在性能和可靠性的瓶頸；而NFS+協(xié)議的元數(shù)據(jù)不再聚焦于某個性能節(jié)點，而是分配到集群的所有節(jié)點里面，可以在主機(jī)側(cè)實現(xiàn)多連接，消除了大模型語境下高頻處理小文件的底層瓶頸。
另一方面，站在大多數(shù)用戶的角度上，NFS+協(xié)議可以更好的兼容已有的使用習(xí)慣，原先建立在傳統(tǒng)NFS上的運維機(jī)制和知識體系不作廢，文件系統(tǒng)的切換過程更平緩，不用修改操作系統(tǒng)數(shù)據(jù)面，即可讓NAS存儲訪問性能提升6倍、可靠性提升3倍，以極低的成本擁抱大模型訓(xùn)推浪潮。
無可否認(rèn)的是，大模型正在從前臺的“火熱”，轉(zhuǎn)向整個產(chǎn)業(yè)鏈條的協(xié)同驅(qū)動，數(shù)據(jù)存儲正是其中的關(guān)鍵一環(huán)。
在這樣的趨勢下，行業(yè)注意力將從“煉模”一步步轉(zhuǎn)向更高效、更快速的“煉模”，海量小文件的采集和加載性能、算力資源的利用率等指標(biāo)，將被越來越多的企業(yè)所關(guān)注，勢必會掀起一場化繁為簡的文件存儲革命。
關(guān)鍵詞：
您可能也感興趣:
今日熱點
為您推薦
下雨了抒發(fā)心情的說說
2023-08-31 12:30:13
怎么算無期徒刑假釋考驗期
2023-08-31 12:30:13
酒駕應(yīng)該如何處,法律是如何規(guī)定的
2023-08-31 12:30:13
排行
- 孫金榮(關(guān)于孫金榮簡述)
- 上海將對既有多層住宅加裝電梯提取住房公積金政策做出惠民調(diào)整
- 深圳進(jìn)一步規(guī)范住房公積金繳存提取等業(yè)務(wù)事項
- 北京樓市迎重磅通知 嚴(yán)厲打擊房屋銷售、租賃市場違法違規(guī)行為
- 《北京市深化住宅專項維修資金管理改革實施方案》公開征求意見
- 美的置業(yè)經(jīng)過61輪競價競得義烏1宗商住地，溢價率20.08%
- 深圳3個安居型商品房項目今日起接受網(wǎng)上認(rèn)購
- 天津61宗地塊掛牌出讓起始時間調(diào)整為9月1日
- 南京大力推進(jìn)“智慧公積金”建設(shè) 線上貸款申請功能享便利
- 一季度置業(yè)旺季 新房月度訪問熱度同比上漲20.9%
最近更新
- “燒錢”的大模型，如何邁過存儲這道坎？
- 被指“砸盤元兇”，量化機(jī)構(gòu)創(chuàng)始人聯(lián)合多家百億私募“自證清白”
- 福安：讓畬族文化活起來傳下去
- 冀衛(wèi) · 醫(yī)說就懂（54）｜老眩暈？快測測前庭功能
- 沈陽簽約14個航空產(chǎn)業(yè)項目
- 延吉市人民檢察院打造黨建文化墻 提升黨建新活力
- 銀川做好旱情災(zāi)害防御工作
- 托尼：國米鋒線火力不足，希望他們能在近日鋒線引進(jìn)強(qiáng)援
- 東吳證券給予海泰新光買入評級，2023中報點評：業(yè)績符合預(yù)期...
- 海南橡膠2023年上半年凈利-2.7億 虧損增長279.49%
- 誘導(dǎo)未成年人非理性追星，關(guān)閉解散違規(guī)賬號、群組1800余個
- 華懋香港八大商場將推出一系列晚間消費優(yōu)惠推動夜市經(jīng)濟(jì)
- 三部委：部省聯(lián)合簽訂義務(wù)教育優(yōu)質(zhì)均衡發(fā)展備忘錄，明確實現(xiàn)...
- 虎鳳蝶擬使用自有閑置資金1000萬（含1000萬）購買結(jié)構(gòu)性存款...
- 8月29日三聯(lián)鍛造漲停分析：新能源車零部件，汽車零部件，新能...
- 視頻丨煙火天心味正濃丨樂在天心① 鄉(xiāng)村休閑
- 鼎運智能擬投資300萬設(shè)立全資子公司鼎運科宏科技(臺州)有限公司
- 唐彩股份及子公司將利用閑置自有資金購買產(chǎn)品總額不超過5000...
- 同濟(jì)的她，收獲國家級榮譽(yù)
- 遂寧市2023年科技型中小企業(yè)評價入庫暨技術(shù)合同認(rèn)定登記工作...
- 陜西民警打傷殘疾人，9個月后竟還在上班，如此明目張膽護(hù)犢子？
- 零跑汽車上半年虧22億、單車虧超5萬 毛利率仍未轉(zhuǎn)正
- 暑期檔“流量密碼”，上海影城現(xiàn)象級“千人灌”是如何煉成的？
- 全力保障防汛救災(zāi)和恢復(fù)重建 北京市財政累計下達(dá)資金超21億元
- 三一重能最新公告：上半年凈利潤8.17億元 同比增長2.38%
- 2023年秋季學(xué)期自貢公辦中小學(xué)教育收費標(biāo)準(zhǔn)
- 老白干酒：上半年歸母凈利潤2.17億元 同比減40.17%
- 唐人神2023年上半年凈利-6.64億 虧損增長375.22%
- 大唐蔚州能源公司推進(jìn)黨風(fēng)廉政建設(shè)縱深發(fā)展
- 國網(wǎng)七臺河供電：緊急搶修恢復(fù)居民供電