川觀智庫研究員 黃愛林
隨著DeepSeek等大模型接入越來越多的端側應用,海量數據的存儲和處理需求,推動了對存儲芯片的需求激增。中國信通院聯(lián)合中國人工智能產業(yè)發(fā)展聯(lián)盟日前發(fā)布的《新型人工智能存儲研究報告》(下簡稱報告)指出,新型AI存儲是大模型進一步發(fā)展的關鍵,但在海量數據歸集、訓練數據訪問效率和推理實時性等方面亟需突破瓶頸。
新型AI存儲可以理解為大模型的數據載體,關系著大模型的數據歸集、預處理、訓練、推理等全生命周期流程,也是AI數據全生命周期服務與管理平臺的重要組成部分。它具備超高性能、超大容量、極致安全、數據編織、大模型數據范式和綠色節(jié)能等關鍵特征,可以有效支撐海量數據的分析和學習。
新型AI存儲被視作發(fā)力大模型的根基,但其自身的發(fā)展卻面臨多重挑戰(zhàn)。一是海量原始數據歸集的提速問題。上述報告顯示,PB級數據的歸集通常需要消耗整個大模型全流程時長的30%,需要數據歸集后才能用于后續(xù)的模型訓練,而數據歸集涉及數據解析、清洗和去重等流程,這里將占據30%以上的CPU、GPU、內存等資源。
第二點挑戰(zhàn)在于應對數據訪問效率。大模型訓練需要高并發(fā)、低延遲的數據訪問能力,若AI存儲無法提供千萬級IOPS能力(存儲系統(tǒng)的“反應速度”,每秒能處理千萬次操作)和數百GB/s級讀寫帶寬(存儲系統(tǒng)的“反應速度”,每秒能搬運幾百GB的數據),則會導致GPU算力閑置率較高。
再一個挑戰(zhàn)是推理實時性的要求。大模型推理(如醫(yī)療診斷、智能客服)對響應時間要求苛刻,需毫秒級延遲,這就需要能夠快速檢索關鍵信息的AI存儲。
基于挑戰(zhàn)分析,報告建議在國家戰(zhàn)略層面,盡快形成AI存儲產業(yè)發(fā)展的頂層規(guī)劃,系統(tǒng)布局AI存儲設施;在關鍵技術上加強自主創(chuàng)新,從存儲介質、系統(tǒng)、架構數據編織、數據范式和數據安全等方面發(fā)力;產業(yè)發(fā)展方面,鼓勵國產設備應用,提升安全保障能力。
【未經授權,嚴禁轉載!聯(lián)系電話028-86968276】