2023年11月30日,中國電子技術标準化研究院、存儲産業技術創新戰略聯盟聯合多家學研機構、企業和用戶代表,共同撰寫的業界首個《分布式融合存儲研究報告》(以下簡稱:《報告》)正式發布。得一微作為領先的存儲解決方案提供商,積極參與了報告的編制工作,對分布式融合存儲的技術架構和應用場景進行了深入的分析和研究,為融合存儲産業發展提供重要的參考和指引,引領智算時代存儲技術革新和應用。
中國電子技術标準化研究院領導表示,“數據成為重要的生産要素,數據存儲和數據管理在信息技術變革中的作用更加顯著。分布式融合存儲作為存儲新技術,在數據存儲領域将會發揮更大作用。”
中國計算機行業協會信息存儲與安全專委會會長、華中科技大學教授謝長生表示,“存儲作為數字技術底座之一,既得到空前發展也面臨巨大挑戰,分布式融合存儲就是迎接這種挑戰的關鍵技術,該報告彙聚了學術界、産業界和用戶的集體智慧和經驗,描述了一副全景視圖。”
《分布式融合存儲研究報告》
分布式融合存儲将成為智算時代的數據基石
中國工程院院士、清華大學教授鄭緯民指出,“數字化和智能化催生數據量爆炸式增長,分布式融合存儲技術的出現,不僅可以提供數據存儲的效率和安全性,還可以實現數據的動态管理和智能優化,為各種應用場景提供更加全面和可靠的數據支持。”
《報告》指出,相較于傳統的分布式存儲技術,分布式融合存儲是在傳統的分布式存儲架構的基礎上,實現了同一存儲集群同時提供多種存儲服務,并且在非結構化數據協議間實現了協議融合、數據融合互通的存儲技術,其能夠提供跨模式/格式數據共享互通的能力,并支持塊、文件、對象、大數據多協議接入以及多協議關聯統一管理,滿足多應用跨不同協議實現高效的數據互通訪問。
該報告明确了分布式融合存儲的四大關鍵技術:統一存儲池,保證數據能夠均衡地分布在各個存儲節點中,支持存儲池的橫向擴展,以及數據自動修複能力;存儲服務融合,在一套存儲系統中同時提供文件、對象、大數據和塊存儲服務,同時具備豐富的多協議支持能力;數據管理融合,采用統一的非結構化數據和元數據管理架構,保證各協議的原生訪問;存儲協議融合,支持NFS、CIFS、HDFS、S3等非結構化數據協議的融合互通,保證了各種協議共享同一份數據和元數據。分布式融合存儲通過對底層硬件資源進行高通用性且細粒度的管理,可極大地緩解智算時代數據急劇增長所導緻的存儲資源緊張問題。
分布式融合存儲架構
為五大典型場景提供強大存力支撐
分布式融合存儲在海量多源異構數據處理和“通信、感知、計算”一體化的邊緣場景方面提供了強有力的存力支撐,使其能夠滿足不同場景對于存儲的需求,為當前的數字化轉型時代提供了高效、多維、貫通和定制化的生産要素,讓數據驅動向全場景滲透。
《報告》總結了分布式融合存儲的五大典型應用場景:
1. 以自動駕駛為代表的深度學習場景:自動駕駛場景中數據量比較大,并且數據類型複雜。在整個數據生命周期中,根據不同階段的應用,需要使用不同的協議。而分布式融合存儲則實現多協議互訪互通,并具備極緻聚合性能,能夠滿足數據采集、數據标注、模型訓練對于存儲帶寬、小文件處理、存儲 IO 等方面的要求,使業務流程更加簡潔高效;
2. 以 AI/AIGC 為代表的大模型應用場景:模型的訓練是AI開發的核心,這要求存儲系統提供高帶寬和高并發性能。分布式融合存儲可避免因訪問協議不同造成的數據拷貝,并提供海量多源數據、高性能、低延遲的存儲基礎設施,為AI應用的訓練和推理提供強大存儲能力的支撐;
3. 以湖倉一體為代表的數據智能應用場景:湖倉一體的架構,數據來源多種多樣,面向的服務和存儲協議多種多樣,所以融合存儲是必然趨勢。分布式融合存儲為該場景提供了更高的計算擴展性,可為各類計算引擎同時提供存儲需求,并實現協同合作和數據共享;
4. 金融風控場景:金融風控場景的特殊性意味着,其對于存儲系統的可用性、數據一緻性、可擴展性、數據安全性、性能都提出了很高的要求。分布式融合存儲通過高可用、高安全、高擴展、高性能設計,能夠支撐系統實時數據訪問和靈活擴容,滿足大規模數據存儲與分析的需求;
5. HPC高性能計算場景:在高性能計算領域,分布式融合存儲技術的應用作用愈發重要,它通過将多種存儲業務資源集成為一個整體,以滿足對文件、對象、塊功能的需求,以及性能和容量的要求,并提供高可靠性和可擴展性,為科學計算和數據分析提供了可信賴的數據基礎。
分布式融合存儲正成為用戶首選的存儲底座
《報告》預測,分布式融合存儲這一新興技術目前正處于發展早期階段,仍面臨多服務融合的高性能挑戰,新存儲形态的标準化挑戰和智能化的運維管理挑戰。
同時,分布式融合存儲擁有廣闊前景,首先分布式融合存儲有助于“存力”構建,符合政策方向;其次,分布式融合存儲在一套存儲架構有效組織管理不同存儲介質、存儲協議和存儲服務,使得“一套存儲架構支持一個數據中心”成為可能;以AI大模型為基礎技術,未來湧現的各類新應用需要更強大的數據基礎設施和數據平台能力,帶來不可估量的市場空間,注定分布式融合存儲未來大為可期。
存儲産業技術創新戰略聯盟秘書長李仁剛表示,“雲計算、大數據和人工智能等技術的快速發展,将推動分布式融合存儲的進一步應用、推廣,成為越來越多行業用戶的首選存儲底座。”