2020年6月，Hyperion Research發(fā)布了最新HPC市場(chǎng)研究報(bào)告表明，HPC存儲(chǔ)已成為HPC市場(chǎng)中增長(zhǎng)最快的部分。預(yù)計(jì)2019至2024年，HPC存儲(chǔ)復(fù)合年均增長(zhǎng)率為12.1%，高于HPC服務(wù)器的8.7%，預(yù)計(jì)到2024年收入約為99億美元。
報(bào)告還對(duì)過(guò)去5年，工業(yè)、政府以及學(xué)術(shù)研究機(jī)構(gòu)采用的HPC文件系統(tǒng)進(jìn)行了深入調(diào)查分析。結(jié)論是，NFS仍然是目前最廣泛采用的文件系統(tǒng)，但使用率已從2015年的54%下降到2019年的46%。Lustre、HDFS、GPFS/Sectrum Scale則分別實(shí)現(xiàn)增長(zhǎng)，其中Lustre由21%增長(zhǎng)至32.5%、HDFS由15%增長(zhǎng)至24.7%、GPFS/Sectrum Scale由23%增長(zhǎng)至26.8%。
在調(diào)查的194個(gè)超級(jí)計(jì)算機(jī)站點(diǎn)中，共使用了349個(gè)文件系統(tǒng)，平均每個(gè)站點(diǎn)使用1.8個(gè)文件系統(tǒng)。 超過(guò)50%的政府網(wǎng)站和30%的學(xué)術(shù)網(wǎng)站使用Lustre和GPFS/Sectrum Scale，工業(yè)選擇NFS、HDFS和RedHat的居多。除此之外，GFS、CEPH和Pan FS占比雖然不高，但在政府、學(xué)術(shù)界和工業(yè)都不同程度的應(yīng)用。
HPC存儲(chǔ)“大家談”
無(wú)論是開源還是商用存儲(chǔ)，也不管選用哪種分布式文件系統(tǒng)，HPC存儲(chǔ)技術(shù)發(fā)展終究是要適應(yīng)市場(chǎng)的需求，特別是適應(yīng)當(dāng)前企業(yè)不斷深化的數(shù)字化轉(zhuǎn)型和智能化升級(jí)需求。隨著云計(jì)算、大數(shù)據(jù)以及AI融入到千行百業(yè)，無(wú)論是傳統(tǒng)企業(yè)、政府還是學(xué)術(shù)研究機(jī)構(gòu)，數(shù)據(jù)的快速增長(zhǎng)將避無(wú)可避，由此帶來(lái)的龐大數(shù)據(jù)處理與分析需求，勢(shì)必推動(dòng)HPC存儲(chǔ)廠商的技術(shù)創(chuàng)新和變革。
面對(duì)快速增長(zhǎng)的數(shù)據(jù)存儲(chǔ)、管理、分析、低延時(shí)、高帶寬的應(yīng)用需求。HPC存儲(chǔ)廠商在做什么?總結(jié)來(lái)說(shuō)，主流廠商都在瞄準(zhǔn)大數(shù)據(jù)分析和AI分析場(chǎng)景，通過(guò)收購(gòu)或技術(shù)創(chuàng)新不斷提升HPC存儲(chǔ)性能。
作為存儲(chǔ)行業(yè)的老牌廠商，戴爾易安信有著豐富的HPC解決方案組合，既有基于Lustre、BeeGFS包裝的并行存儲(chǔ)解決方案主打傳統(tǒng)HPC場(chǎng)景，又有基于PowerScale(前Isilon)構(gòu)建的數(shù)據(jù)湖解決方案主打HPDA場(chǎng)景，同時(shí)推出了系列全閃存儲(chǔ)機(jī)型和PowerEdge服務(wù)器、400GbE開放式網(wǎng)絡(luò)交換機(jī)等形成AI就緒解決方案，通過(guò)多種方案組合應(yīng)對(duì)傳統(tǒng)HPC向HPDA、HPC-based AI演進(jìn)趨勢(shì)。
IBM正在將軟件定義的IBM Spectrum Scale存儲(chǔ)產(chǎn)品與基于 IBM POWER9處理器的I/O密集型服務(wù)器結(jié)合起來(lái)。通過(guò)將整個(gè)組織的存儲(chǔ)需求整合到 IBM ESS 5000 和基于 NVMe的ESS 3000上，支持需求苛刻的 HPC、分析和/或高容量存儲(chǔ)需求。IBM ESS 5000專為數(shù)據(jù)湖而設(shè)計(jì)，單個(gè)節(jié)點(diǎn)的性能可達(dá)到 55 GB/秒，可擴(kuò)展至堯字節(jié)級(jí)容量。
戴爾易安信和IBM都將存儲(chǔ)未來(lái)的發(fā)展壓向“AI、分析和HPC”應(yīng)用，足見各大廠商對(duì)HPDA、HPC-based AI應(yīng)用場(chǎng)景方向的看好和認(rèn)可。
作為一家專注于高性能計(jì)算存儲(chǔ)的供應(yīng)商，DDN擁有一系列快速訪問(wèn)和可擴(kuò)展陣列，可單獨(dú)使用，也可以與GRIDscaler Spectrum Scale和EXAscaler Lustre系列中的橫向擴(kuò)展并行文件系統(tǒng)捆綁使用。近年來(lái)，DDN通過(guò)一系列的收購(gòu)來(lái)強(qiáng)化其存儲(chǔ)系統(tǒng)面向AI、5G等場(chǎng)景的支撐能力。2019年收購(gòu)軟件定義存儲(chǔ)公司Nexenta，該公司擁有一系列文件，塊和對(duì)象存儲(chǔ)軟件產(chǎn)品，以及基于ZFS文件系統(tǒng)。Nexenta已進(jìn)入了市場(chǎng)，免備案主機(jī)，其在物聯(lián)網(wǎng)市場(chǎng)也在開拓計(jì)劃中。收購(gòu)Nexenta，云主機(jī)租用，不僅能拓展DDN存儲(chǔ)面向5G、AI以及物聯(lián)網(wǎng)等場(chǎng)景的能力，還可以在Lustre和Spectrum Scale產(chǎn)品之下獲得更為通用的文件存儲(chǔ)。
對(duì)比業(yè)界幾種主流的文件系統(tǒng)，Lustre作為超20年歷史的老牌開源并行文件系統(tǒng)，專門面向HPC場(chǎng)景設(shè)計(jì)，具有很強(qiáng)的擴(kuò)展性和超高的帶寬能力，HPC場(chǎng)景生態(tài)上也支持度很高。但開源文件系統(tǒng)的通病也在它身上充分體現(xiàn)出來(lái)，系統(tǒng)復(fù)雜性高和調(diào)優(yōu)維護(hù)復(fù)雜是客戶對(duì)Lustre詬病最多的點(diǎn)，同時(shí)，Lustre的企業(yè)特性較少，小文件性能偏弱也成為其面向HPDA/AI場(chǎng)景演進(jìn)的障礙。
IBM Spectrum Scale(前GPFS)作為并行文件系統(tǒng)的另一大分支，相比Lustre在企業(yè)特性方面和小文件性能上有了較大的增強(qiáng)，但仍然沒(méi)能擺脫系統(tǒng)復(fù)雜性高和調(diào)優(yōu)維護(hù)復(fù)雜的帽子，隨著IBM近兩年在整體存儲(chǔ)市場(chǎng)走弱，Spectrum Scale也面臨困境。
PowerScale的OneFS作為通用分布式文件系統(tǒng)的代表，憑借多協(xié)議互通能力和系統(tǒng)易用性，在新興的以自動(dòng)駕駛為代表的HPDA場(chǎng)景斬獲了較多的市場(chǎng)份額，但不支持MPI并行訪問(wèn)接口和相對(duì)較弱的性能，又限制了其在HPDA場(chǎng)景的競(jìng)爭(zhēng)力。
隨著傳統(tǒng)HPC向HPDA、HPC-based AI方向演進(jìn)，各行業(yè)迎來(lái)了數(shù)據(jù)量爆發(fā)和異構(gòu)算力加入，那么有沒(méi)有一種存儲(chǔ)能解決企業(yè)的所有需求，應(yīng)對(duì)跨協(xié)議訪問(wèn)、混合負(fù)載性能、成本、可靠性等多方面給存儲(chǔ)帶來(lái)新的挑戰(zhàn)?
