川觀智庫研究員 黃愛林
隨著DeepSeek等大模型接入越來越多的端側(cè)應(yīng)用，海量數(shù)據(jù)的存儲(chǔ)和處理需求，推動(dòng)了對(duì)存儲(chǔ)芯片的需求激增。中國信通院聯(lián)合中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟日前發(fā)布的《新型人工智能存儲(chǔ)研究報(bào)告》（下簡稱報(bào)告）指出，新型AI存儲(chǔ)是大模型進(jìn)一步發(fā)展的關(guān)鍵，但在海量數(shù)據(jù)歸集、訓(xùn)練數(shù)據(jù)訪問效率和推理實(shí)時(shí)性等方面亟需突破瓶頸。
新型AI存儲(chǔ)可以理解為大模型的數(shù)據(jù)載體，關(guān)系著大模型的數(shù)據(jù)歸集、預(yù)處理、訓(xùn)練、推理等全生命周期流程，也是AI數(shù)據(jù)全生命周期服務(wù)與管理平臺(tái)的重要組成部分。它具備超高性能、超大容量、極致安全、數(shù)據(jù)編織、大模型數(shù)據(jù)范式和綠色節(jié)能等關(guān)鍵特征，可以有效支撐海量數(shù)據(jù)的分析和學(xué)習(xí)。
新型AI存儲(chǔ)被視作發(fā)力大模型的根基，但其自身的發(fā)展卻面臨多重挑戰(zhàn)。一是海量原始數(shù)據(jù)歸集的提速問題。上述報(bào)告顯示，PB級(jí)數(shù)據(jù)的歸集通常需要消耗整個(gè)大模型全流程時(shí)長的30%，需要數(shù)據(jù)歸集后才能用于后續(xù)的模型訓(xùn)練，而數(shù)據(jù)歸集涉及數(shù)據(jù)解析、清洗和去重等流程，這里將占據(jù)30%以上的CPU、GPU、內(nèi)存等資源。
第二點(diǎn)挑戰(zhàn)在于應(yīng)對(duì)數(shù)據(jù)訪問效率。大模型訓(xùn)練需要高并發(fā)、低延遲的數(shù)據(jù)訪問能力，若AI存儲(chǔ)無法提供千萬級(jí)IOPS能力（存儲(chǔ)系統(tǒng)的“反應(yīng)速度”，每秒能處理千萬次操作）和數(shù)百GB/s級(jí)讀寫帶寬（存儲(chǔ)系統(tǒng)的“反應(yīng)速度”，每秒能搬運(yùn)幾百GB的數(shù)據(jù)），則會(huì)導(dǎo)致GPU算力閑置率較高。
再一個(gè)挑戰(zhàn)是推理實(shí)時(shí)性的要求。大模型推理（如醫(yī)療診斷、智能客服）對(duì)響應(yīng)時(shí)間要求苛刻，需毫秒級(jí)延遲，這就需要能夠快速檢索關(guān)鍵信息的AI存儲(chǔ)。
基于挑戰(zhàn)分析，報(bào)告建議在國家戰(zhàn)略層面，盡快形成AI存儲(chǔ)產(chǎn)業(yè)發(fā)展的頂層規(guī)劃，系統(tǒng)布局AI存儲(chǔ)設(shè)施；在關(guān)鍵技術(shù)上加強(qiáng)自主創(chuàng)新，從存儲(chǔ)介質(zhì)、系統(tǒng)、架構(gòu)數(shù)據(jù)編織、數(shù)據(jù)范式和數(shù)據(jù)安全等方面發(fā)力；產(chǎn)業(yè)發(fā)展方面，鼓勵(lì)國產(chǎn)設(shè)備應(yīng)用，提升安全保障能力。
【未經(jīng)授權(quán)，嚴(yán)禁轉(zhuǎn)載！聯(lián)系電話028-86968276】
