在數字化和智能化快速發展的今天，對象存儲以其高擴展性和低成本優勢，成為海量數據存儲的首選方案。然而，隨著大數據分析、AIGC（人工智能生成內容）等涉及海量數據計算的場景快速發展，對象存儲面臨著嚴重的性能挑戰。

為了應對挑戰，騰訊云存儲團隊推出了基于對象存儲搭建的分布式高性能文件系統GooseFS。在NAS2024大會上，騰訊云存儲團隊提交的《GooseFS:分布式緩存服務以提高云對象存儲性能》論文成功入選會議論文，充分展現了騰訊云在對象存儲領域的技術創新實力。

AIGC等應用場景下，對象存儲面臨諸多挑戰

雖然對象存儲具備高擴展性和低成本等優勢，能夠承載TB級別甚至PB級別的數據量，滿足了海量數據存儲的需求，但是隨著大數據分析、AIGC等場景的快速發展，對象存儲也面臨著嚴重的性能挑戰。

在騰訊云數據湖存儲GooseFS負責人程力看來，在AIGC等場景下，對象存儲主要面臨時延高、吞吐低、元數據操作慢三大主要挑戰。

首先，對象存儲的數據組織和實現方式導致其時延較高，無法滿足對低時延要求較高的應用場景。

其次，對象存儲的存儲介質性能不足，限制了其吞吐能力的提升，難以滿足大數據分析和AIGC等場景下的高吞吐需求。

最后，對象存儲的元數據操作性能表現一般，影響了數據訪問的效率和準確性。

騰訊云存儲產品總經理陳崢表示，性能問題嚴重限制了對象存儲在大數據分析和AIGC等場景下的應用，亟需一種高效的技術方案來解決這些問題。為此，騰訊云存儲團隊基于對象存儲研發了一套分布式緩存架構，這個架構支持計算端的緩存技術、 Storage-Side存儲端的緩存技術和元數據操作的加速技術，這也就是GooseFS的整體技術框架。

三個關鍵設計，加速對象存儲數據訪問

在GooseFS中，引入了三個關鍵設計，來實現在存算分離架構下對對象存儲的加速訪問。

一是計算端緩存加速。在計算端，GooseFS將離計算資源更近的本地盤作為緩存介質存放部分對象存儲數據，實現計算對數據的就近訪問，降低延遲。同時，通過多級粒度緩存管理和短路讀機制，GooseFS降低了隨機小IO下的數據訪問時延。

程力表示， GooseFS支持多種存儲粒度的緩存管理，如4K、8K、16K、64K等。不同存儲粒度的數據在緩存中的表現不同，通過多級粒度緩存管理，可以更有效地利用緩存空間，提高緩存命中率。此外，GooseFS還支持短路讀機制，當計算節點需要讀取數據時，GooseFS會優先從本地緩存中讀取。如果本地緩存中沒有所需數據，再從對象存儲中拉取。這種機制減少了網絡傳輸的開銷，提高了數據讀取的效率。

二是存儲端緩存加速。在存儲端，GooseFS構建了高性能SSD緩存池，為計算節點提供存儲端的緩存支持。這解決了對象存儲介質性能不足的問題，提高了面對順序IO時的吞吐率。據介紹，GooseFS利用高性能SSD構建緩存池，提供高速的數據讀寫能力。當計算節點需要寫入數據時，可以先將數據寫入SSD緩存池，再由緩存池異步寫入對象存儲。這種機制提高了數據寫入的效率，減少了對象存儲的壓力。

三是元數據加速。GooseFS自研了一套高性能元數據引擎，通過元數據分級管理、強一致性緩存和平行擴展等技術手段來提升元數據讀寫性能。同時，將元數據持久化到底層的企業級數據庫中，以此大幅提升了元數據處理的效率。

實驗結果表明，相比原生對象存儲，GooseFS的吞吐量提升了8~10倍，同時降低了90%的存儲帶寬消耗，滿足了多種工作負載對高性能要求。

據程力介紹，在AIGC場景中，模型訓練需要處理大量的數據，對存儲的性能要求較高。GooseFS通過加速數據訪問，提高了模型訓練的效率和準確性，降低了訓練成本。在大數據分析場景中，需要對海量數據進行處理和分析。GooseFS通過提高存儲吞吐量和降低時延，加速了數據分析的速度，提升了數據處理的效率和質量。

除此之外，在智能推薦場景中，需要根據用戶的行為和興趣進行實時推薦。GooseFS通過加速數據訪問和元數據操作，提高了推薦系統的響應速度和準確性，提升了用戶體驗。

目前，GooseFS已經服務了蔚來、博世、百川、高途、燃數、酷狗等一大批客戶，在多個應用場景中展現了其卓越的性能優勢。

多項創新技術加持，攜手業界共同推動對象存儲發展

GooseFS的技術創新不僅體現在其卓越的性能優勢上，還體現在其靈活部署、高可用性和強一致性等方面。

1）靈活部署：GooseFS支持靈活部署，可以根據業務需求動態調整緩存容量和節點數量。同時，GooseFS支持多種存儲介質和操作系統，具有廣泛的適用性和兼容性。

2）高可用性：GooseFS通過利用Raft協議和企業級數據庫進行元數據持久化存儲，保證了系統的高可用性。即使在某些節點出現故障時，也能快速恢復數據訪問能力，保證業務的連續性和穩定性。

3）強一致性：GooseFS的讀寫操作都是強一致的，即寫入后的數據可以立即被讀取到。這保證了數據訪問的準確性和可靠性，避免了數據不一致帶來的潛在風險。

從業界發展來看，GooseFS的技術方案已經得到了廣泛的認可和關注。除了騰訊云之外，阿里、火山引擎等廠商也在積極研發類似的緩存+高性能文件系統方案。同時，一些開源廠商和初創企業也在該領域進行探索和創新。在多方的共同努力下，對象存儲技術的發展也有了巨大的進步。

寫在最后：

作為創新技術， GooseFS通過引入計算端緩存加速、存儲端緩存加速和元數據加速等關鍵設計，實現了對對象存儲的加速訪問。實驗結果表明，相比原生對象存儲，GooseFS的吞吐量提升了8~10倍，同時降低了90%的存儲帶寬消耗。目前， GooseFS已經服務了多家知名企業，在AIGC、大數據分析和智能推薦等應用場景中展現了其卓越的性能優勢。

不難發現，隨著未來數字化和智能化的不斷深入發展，對象存儲將面臨更多的挑戰和機遇。騰訊云存儲團隊將繼續致力于技術創新和產品研發，為用戶提供更加高效、可靠和智能的存儲解決方案。同時，騰訊云存儲也將積極與業界合作伙伴進行交流和合作，共同推動對象存儲技術的發展和進步。