支持AI人工智能和ML機器學習部署的數據中心依靠基于圖形處理單元(GPU)的服務器為其計算密集型架構提供支持。到2024年，在多個行業中，GPU使用量的增長將使GPU服務器的復合年增長率超過31%。這意味著將有更多的系統架構師承擔承擔相應的職責，以確保GPU系統具有最高的性能和成本效益。

[[319044]]

然而，為這些基于GPU的AI / ML工作負載優化存儲并非易事。存儲系統必須高速處理海量數據，與此同時需要注意以下兩個挑戰：

1)服務器利用率。GPU服務器對于訓練大型AI / ML數據集所需的矩陣乘法和卷積非常高效。但是，GPU服務器的成本是典型CPU服務器的3倍。為了保持ROI，IT員工需要讓GPU使用率足夠飽和。但不幸的是，很多部署經驗表明GPU僅有30%的使用率。

2)GPU存儲瓶頸。ML訓練數據集通常遠遠超過GPU的本地RAM容量，從而產生了一個I / O瓶頸，分析人員將其稱為GPU存儲瓶頸。AI和ML系統最終要等待訪問存儲資源，這是因為它們龐大的數據阻礙了及時訪問，從而影響了性能。

為了解決這個問題，NVMe閃存固態硬盤逐漸取代了標準閃存固態硬盤，成為Al / ML存儲的首選。NVMe支持大規模的IO并行性，性能約為同類SATA SSD的6倍，并且延遲降低了10倍，并且具有更高的電源效率。正如GPU推動了高性能計算的發展一樣，NVMe閃存在降低延遲的同時，實現了更高的存儲性能、帶寬和吞吐量。NVMe閃存解決方案可以使AI和ML數據集加載到應用程序的速度更快，并且可以避免GPU匱乏。

此外，NVMe Over Fabrics可以虛擬化整個高速網絡上的Nvme資源，通過NVMeoF技術可以更好的適用于AI和ML的存儲架構。NVMeoF使GPU可以直接訪問NVMe的彈性池，因此可以使用本地閃存性能來訪問所有資源。它使AI數據科學家和HPC研究人員可以向應用程序提供更多數據，以便他們更快地獲得更好的結果。

要獲得最佳的GPU存儲性能，就需要根據業務目標對基礎架構進行微調。這里有四種方法可供考慮。

1.有效擴展GPU存儲容量

例如，某存儲公司為不需要運行自己的AI堆棧的組織提供了AI即服務解決方案。因此，這家公司需要最大的ROI和可擴展性。特別是對多租戶的需求，這意味著為滿足各種工作負載和客戶端的性能要求，基礎架構必須隨時準備就緒。

該基礎架構團隊在部署其第一個GPU服務器系統的早期就了解到，本地GPU服務器的存儲容量將太有限，只有4TB的本地存儲，而客戶的工作量則需要10到100 TB的數據。該團隊研究了外部存儲選項，并注意到，使用傳統陣列它們將獲得更多的容量，但性能最終會阻礙AI工作負載，因為應用程序需要將數據移入和移出GPU系統，從而中斷工作流程并影響系統效率。

最終這家公司通過使用軟件定義存儲在快速的RDMA網絡上合并NVMe閃存(一種將數據集加載速度提高10倍的方法)，最終可以實現更高的GPU容量利用率，消除了GPU瓶頸并提高了ROI，因此現有的GPU變得更加充分利用。(注：參考lnstaDeep)

2.大規模調整性能

AI部署的快速增長和ML訓練數據集的大小增加了計算基礎架構的負擔，STFC(The Science and Technology Facilities Council )則是這種典型的代表。盡管STFC已添加了高端GPU服務器以提供更高的計算支持，但STFC缺乏在數百個Researchers 中擴展資源所需的企業級存儲功能。

通過在具有RDMA功能的高速網絡(例如Infiniband或融合以太網(RoCE)v2上的RDMA)上實現NVMe-over-Fabrics協議，大型AI / ML用戶組(例如STFC)可以虛擬化NVMe SSD在各種服務器上未使用的存儲資源池，因此它們的性能就像在本地一樣。通過這樣做，可以在一個小時內完成機器學習培訓任務，而以前則需要三到四天。即使具有復雜的模型訓練任務，GPU存儲也不再是瓶頸。

3.在并行文件系統下使用NVMe池化存儲

當AI和ML應用程序涉及從許多GPU服務器訪問大量小文件時，作為存儲基礎架構就必須部署并行分布式文件系統。并行文件系統還使存儲更容易實現大多數AI / ML使用所需的高吞吐量和低延遲。在并行文件系統下具有快速、靈活的池化NVMe存儲，可以改善對元數據的處理，從而實現更高的讀取性能和更低的延遲，從而提高GPU服務器的利用率。

例如，一家超大型技術提供商最近推出了一種AI解決方案，用于預估保險公司使用的車輛碰撞場景。為了開發應用程序背后的AI邏輯，應用程序工作流涉及培訓模型，方法是攝取多達2000萬個小文件數據集，其中每個文件大小在150-700 KB之間。數據提取通常每8小時以100萬個文件的速度或者每個客戶端每秒最多35,000個文件進行。

通過在并行分布式文件系統下使用池化NVMe存儲方法，該技術提供商消除了它遇到的存儲瓶頸，并將存儲性能提高了3-4倍。

4.檢查特定于GPU的“高速公路”

新的數據中心架構正在以統一的方式提高服務器、網絡和存儲的性能。一種類似的方法于2019年秋季首次亮相，它將來自多個供應商的基礎架構元素與GPU優化的網絡和存儲進行集成，以在GPU內存和存儲之間打開直接的數據通道，從而完全繞開CPU。這使數據能夠在GPU、存儲和網絡設備提供的“開放高速公路”上進行傳輸，從而實現了對NVMe企業級卓越性能的無障礙訪問。

總結

AI和ML的創新步伐迅捷，這意味著當今的部署依賴及關鍵技術在一年前可能是不存在的，在明年也可能被新技術取代。現在精通微調GPU存儲性能的IT團隊已經意識到它們之前的許多新選擇，可以實現最佳的系統利用率和ROI，從而為其組織帶來競爭優勢。

參考鏈接：https://www.enterpriseai.news/2020/03/17/how-to-beat-the-gpu-storage-bottleneck-for-ai-and-ml/