冬瓜哥上次學(xué)習(xí)AI和ML，還是在2019年初。當(dāng)時其實是卷積神經(jīng)網(wǎng)絡(luò)和深度神經(jīng)網(wǎng)絡(luò)蓬勃發(fā)展期，其主要目的是分類識別。當(dāng)時冬瓜哥還做了一個4小時的視頻，那真是我見過的最小白的白也能輕松入門，理清楚最基本的名詞概念關(guān)系的視頻了，沒有之一。那時候利用AI生成一些藝術(shù)作品已經(jīng)初見雛形，但是非常不成熟，基本上都是僅供娛樂。我記得曾經(jīng)至少有兩部科幻電影描述過（比如《機械公敵》，《Finch》），也許做夢對于一個機器人來講，是一種超級進(jìn)化的開端。

(資料圖片僅供參考)

生成式AI，AI2.0

時過境遷。短短幾年內(nèi)，新的不同于傳統(tǒng)分類器的模型Transformer，讓AI再一次革新。以往的RNN在自然語言處理訓(xùn)練方面的并行度不是很好，需要太多通信，處理長句子時效率比較低。而Transformer模型從新的維度上解決了這個問題，高并行度讓GPU訓(xùn)練效率大幅提升。這個過程，感覺像極了當(dāng)年分布式系統(tǒng)興起的時候，大家也是拿著幾篇經(jīng)典論文翻來覆去的研讀，然后開始用開源軟件，最后逐漸發(fā)展出自己的技術(shù)。

當(dāng)AI突破了人類語言這道關(guān)卡，后續(xù)就有點一馬平川的感覺了。因為人類知識目前主要儲存在各種語言文本當(dāng)中。再結(jié)合對圖片、聲音等各種信息的數(shù)字化映射和分析，讓AI能夠運行于多模態(tài)模式下，能夠更好的理解字里行間的信息，更精細(xì)化的生成對應(yīng)的內(nèi)容，走進(jìn)了現(xiàn)實。

多模態(tài)生成式AI（AI Generated Content，AIGC）是指通過生成和分析多種模態(tài)的數(shù)據(jù)，如文本、圖像、音頻、視頻等，以實現(xiàn)更加豐富和精準(zhǔn)的智能應(yīng)用。與傳統(tǒng)機器學(xué)習(xí)方法相比，多模態(tài)生成式AI能夠充分利用多種數(shù)據(jù)之間的關(guān)聯(lián)性，提高模型的泛化能力和魯棒性。生產(chǎn)式AI是人工智能從1.0時代進(jìn)入2.0時代的重要標(biāo)志，其具備強大的認(rèn)知智能，在搜索引擎、藝術(shù)創(chuàng)作、影音游戲、文本生成、語音生成、圖片生成、視頻生成、代碼生成、虛擬人生成以及金融、教育、醫(yī)療、工業(yè)等領(lǐng)域有著廣闊的應(yīng)用前景。

Gartner預(yù)測，到2023年將有20%的內(nèi)容被AIGC所創(chuàng)建；到2025 年人工智能生成數(shù)據(jù)占比將達(dá)到10%。據(jù)分析師預(yù)測，到2032年，生成式人工智能市場規(guī)模將達(dá)到2,000億美元，占據(jù)人工智能支出總額的約20%，顯著高出當(dāng)前的5%。換言之，未來十年市場規(guī)?？赡苊績赡昃蜁环?。

生成式AI的背后是基于行業(yè)上下游對數(shù)據(jù)進(jìn)行采集、標(biāo)注、訓(xùn)練、推理、歸檔，其特征是數(shù)據(jù)量大、多元數(shù)據(jù)類型復(fù)雜、服務(wù)協(xié)議多樣、性能要求苛刻、要求服務(wù)持續(xù)在線。由于多模態(tài)數(shù)據(jù)具有復(fù)雜性和多樣性，因此多模態(tài)生成式AI需要具備以下特點：

跨模態(tài)數(shù)據(jù)融合：能夠?qū)⒉煌B(tài)的數(shù)據(jù)進(jìn)行有效的融合，以提取更豐富的信息。

跨語言理解：能夠理解不同語言之間的語義差異，提高跨語言應(yīng)用的準(zhǔn)確性。

上下文感知：能夠根據(jù)上下文信息進(jìn)行智能推斷和預(yù)測，提高應(yīng)用的場景適應(yīng)能力。

知識表示：能夠?qū)⒅R和信息進(jìn)行有效的表示，以支持更高級別的認(rèn)知和決策。

革新帶來的新挑戰(zhàn)，現(xiàn)有存儲系統(tǒng)還能不能打？

多模態(tài)生成式AI系統(tǒng)本身是一個大規(guī)模集群，無論是集中式存儲還是本地直連存儲，都早已無法滿足該系統(tǒng)對存儲性能和容量的基本需求。另外，以機械硬盤構(gòu)建的任何存儲系統(tǒng)，也根本無法承擔(dān)生成式AI對存儲系統(tǒng)帶寬和時延的要求?？偟膩碇v，生成式AI在存儲方面所面臨的挑戰(zhàn)如下：

大型數(shù)據(jù)集：隨著數(shù)據(jù)和模型規(guī)模的增長，獨立存儲無法滿足應(yīng)用需求。因此，解決這些問題的分布式存儲解決方案勢在必行。

歷史數(shù)據(jù)的完整歸檔：在某些場景下，AI集群每天都會產(chǎn)生大量新的數(shù)據(jù)集，必須將其歸檔為歷史數(shù)據(jù)。這在自動駕駛領(lǐng)域尤為重要，道路測試車輛收集的數(shù)據(jù)（例如雷達(dá)和攝像頭數(shù)據(jù)）對于公司來說是非常有價值的資產(chǎn)。在這些情況下，獨立存儲被證明是不夠的，因此分布式存儲成為必要的考慮因素。

小文件和非結(jié)構(gòu)化數(shù)據(jù)過多：傳統(tǒng)分布式文件系統(tǒng)難以管理大量小文件，導(dǎo)致元數(shù)據(jù)存儲負(fù)擔(dān)過重。這對于視覺模型來說尤其成問題。為了解決這個問題，需要一個針對小文件存儲進(jìn)行優(yōu)化的分布式存儲系統(tǒng)。這樣既保證了上層訓(xùn)練任務(wù)的高效進(jìn)行，又保證了海量小文件的輕松管理。

云訓(xùn)練數(shù)據(jù)I/O效率低：云模型訓(xùn)練往往采用對象存儲作為存儲計算分離架構(gòu)的底層存儲。然而，對象存儲較差的讀寫性能可能會導(dǎo)致訓(xùn)練過程中出現(xiàn)嚴(yán)重的瓶頸。

異構(gòu)數(shù)據(jù)的融合：生成式AI訓(xùn)練模型的數(shù)據(jù)呈現(xiàn)來源多、格式多的多源異構(gòu)現(xiàn)狀，傳統(tǒng)存儲面向單一數(shù)據(jù)類型設(shè)計，需要以搬移數(shù)據(jù)的方式實現(xiàn)多協(xié)議訪問，存儲成為應(yīng)用平臺的關(guān)鍵瓶頸。

持續(xù)的低延遲與高帶寬：模型訓(xùn)練過程中，頻繁的從數(shù)據(jù)集取Token，每個Token一般4字節(jié)，實時高并發(fā)小IO性能需要極低的延遲；存儲模型Checkpoint時，為Checkpoint數(shù)據(jù)可快速寫入，需要高帶寬。

EB級大容量存儲需求：越多的數(shù)據(jù)投喂結(jié)果越精準(zhǔn)的工作原理，決定了大模型訓(xùn)練存在深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)多、連接多、參數(shù)和數(shù)據(jù)集種類復(fù)雜、數(shù)據(jù)量大的特征，隨著模型參數(shù)和數(shù)據(jù)量的快速增長，對于存儲的大容量和擴展需求也迫在眉睫。

數(shù)據(jù)存儲產(chǎn)業(yè)需要進(jìn)行全方位的技術(shù)升級，通過在多源異構(gòu)融合、數(shù)據(jù)高速傳輸、海量數(shù)據(jù)管理等方面持續(xù)創(chuàng)新，打造專業(yè)的生成式AI存儲產(chǎn)品與解決方案。

塊，文件，對象，哪種存儲方式最好？

塊存儲

傳統(tǒng)觀點認(rèn)為，低延遲高帶寬場景，使用塊存儲是最佳方案。然而，塊存儲在可擴展性方面卻不能令人滿意。AI集群必須在數(shù)據(jù)量、數(shù)據(jù)類型、決策速度，當(dāng)然還有預(yù)算方面進(jìn)行平衡。AI訓(xùn)練環(huán)境對實時運行的基于網(wǎng)絡(luò)的推薦引擎提出了不同的要求。塊存儲傳統(tǒng)上非常適合高吞吐量和高I/O工作負(fù)載，其中低延遲非常重要，然而，隨著現(xiàn)代數(shù)據(jù)分析工作負(fù)載（包括人工智能、機器學(xué)習(xí)甚至數(shù)據(jù)湖）的出現(xiàn)，人們發(fā)現(xiàn)傳統(tǒng)的基于塊的平臺缺乏滿足這些平臺計算方面所產(chǎn)生的橫向擴展需求的能力。因此，必須采用基于文件和對象的方法來支持這些現(xiàn)代工作負(fù)載。

文件和對象

因此，系統(tǒng)架構(gòu)師更傾向于基于文件或?qū)ο蟮?AI 和 ML 存儲。對象存儲在構(gòu)建時考慮到了 PB 級大容量，并且是按規(guī)模構(gòu)建的，還支持物聯(lián)網(wǎng) (IoT) 等應(yīng)用。對象存儲在性能方面落后于塊存儲系統(tǒng)，盡管隨著更新的高性能對象技術(shù)的出現(xiàn)，差距正在縮小。另外一個需要考慮的因素是，AI應(yīng)用程序支持的存儲訪問接口各不相同，并非所有人工智能、機器學(xué)習(xí)或分析工具都支持 AWS 的 S3 接口（對象的事實標(biāo)準(zhǔn)）。

云儲存

云存儲主要是基于對象的，但為人工智能和機器學(xué)習(xí)項目提供了其他優(yōu)勢。其中最主要的是靈活性和較低的前期成本。云存儲的主要缺點是延遲和潛在的數(shù)據(jù)傳輸成本。云存儲對于基于云的人工智能和機器學(xué)習(xí)系統(tǒng)來說是一個不錯的選擇，對于長期數(shù)據(jù)歸檔來說還是劃算的。

綜上，傳統(tǒng)觀點認(rèn)為，沒有單一選項可以滿足人工智能、機器學(xué)習(xí)和分析的所有存儲需求。然而這個觀點在浪潮信息AS13000這個老牌分布式存儲系統(tǒng)面前就顯得有點過于武斷了。

浪潮信息生成式AI存儲解決方案

浪潮信息生成式AI存儲解決方案用一套AS13000融合存儲支撐生成式AI的全階段應(yīng)用，提供全閃、混閃、帶庫、光盤四種介質(zhì)，支持文件、對象、大數(shù)據(jù)、視頻、塊協(xié)議，可滿足大容量、多協(xié)議共享，百萬以上IOPS，100GB以上帶寬，冷數(shù)據(jù)的長期保存和歸檔。結(jié)合AIGC數(shù)據(jù)處理的五個階段：數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)推理和數(shù)據(jù)歸檔，由同一套存儲提供端到端的數(shù)據(jù)流支持流程，滿足面向文本、音頻、圖像、視頻、代碼以及多模態(tài)和全模態(tài)的模型需求。

關(guān)鍵詞：