從人工智能，到大數據，再到云計算，新技術的革命無處不在，不僅深刻改變著我們的日常生活，也已經成為產業數字化轉型的必經之路。目前，我國人工智能核心產業規模已超過千億元，全國在用數據中心機架數的總規模近400萬架，大型以上數據中心超過250個。

　　撲面而來的數字浪潮之下，轉型中的企業如何辨明方向、找到最適合自己的抓手和方案?

　　5月28日，“2021阿里云峰會”在北京開幕。此次峰會以“云上創新”為主題，阿里云與眾多嘉賓、合作伙伴共同探討了企業數字創新的新思路、新策略、新產品、新方案，展開“云上創新”的全景圖。

　　在28日下午舉行的“全鏈路數據服務-大數據及AI論壇”分論壇上，匯量科技 (Mobvista)資深算法架構師、EnginePlus 產品負責人陳緒受邀發表演講，與嘉賓們分享了云原生數據湖的探索和實踐，并介紹了匯量自研開源數據湖框架 StarLake 與新一代“一站式云原生大數據 AI 平臺” EnginePlus 。

　　從數據倉庫到湖倉一體：數據分析架構的演進

　　隨著企業業務的快速擴展，衍生數據量面臨爆發式增長，企業對數據處理分析的需求日趨迫切。在此背景下，創新技術與方案成為企業剛需，用以解決數據智能處理的挑戰。

　　陳緒介紹稱，云原生的數據分析架構，經歷了從傳統數倉，到數據湖，再到湖倉一體的演進。

　　匯量科技資深算法架構師、EnginePlus 產品負責人陳緒發表演講

　　傳統數據倉庫強調結構化數據，在當今的互聯網應用中會導致建模繁瑣、流批架構復雜等一系列問題，傳統的 hive 等方案也不再適配云原生的演進趨勢。在這種背景下，數據湖應運而生。

　　數據湖解決了數倉的部分問題，例如實現非結構化數據的處理、流批一體化等等，此外，云上元數據和對象存儲能力也在持續不斷地演進、優化。在 OSS 的支撐下，計算和存儲能夠更好地實現分離，數據湖的能力由此得到擴展。

　　因此，數據湖和數據倉庫的功能進一步整合，已經成為當前的趨勢。

　　陳緒表示，從業務視角來看，理想的湖倉一體是以數據湖為“底座”，具備元數據管理強拓展性，同時優化對象存儲訪問的性能，進而能夠優化寬表的實時多流攝入能力，最終能夠統一支撐分析和科學 AI 的應用場景。

　　StarLake：匯量科技自研開源數據湖框架

　　據悉，為在互聯網業務中實踐數據湖和湖倉一體化，匯量科技自研并開源了數據湖框架 StarLake，實現大規模數據的實時攝入和更新，高效構建湖倉一體化分析平臺，能夠更好地解決開發者上云和數據處理的挑戰。

　　據介紹，相比開源同類數據湖框架，StarLake 具有以下特點：

　　支持多級分區和 Range、Hash 兩種分區模式，在 Upsert 場景上有較明顯的性能提升，能夠支撐實時寬表的能力;

　　采用分布式 DB 實現元數據管理，在擴展能力上進一步提升;

　　針對對象存儲的專門優化: 通過重寫文件解析層與存儲層融合，達到計算和 IO 并行化;

　　同時支持 Copy on Write 和 Merge on Read 模式，支持高并發的寫入能力;

　　將元數據、分區規則等進一步下推到計算引擎層，進行聯合算子優化，提升查詢分析的性能。

　　陳緒提到，在匯量科技，StarLake 數據湖框架并非“單兵作戰”，而是作為新一代一站式云原生大數據 AI 平臺 EnginePlus 的一部分，在云原生的架構下，更好地為企業提供服務。

　　EnginePlus：新一代一站式云原生大數據 AI 平臺

　　記者了解到，在 EnginePlus 平臺上，StarLake 數據湖可以實現高效的數據攝入，為分析、計算提供“底座”，同時還可無縫對接匯量科技自研的開源機器學習框架 MindAlpha ，對數據進行人工智能建模。

　　EnginePlus 通過將大數據與云計算、人工智能等信息技術融合創新，實現數據攝入、數據計算、模型訓練、在線預測的一站式閉環，幫助客戶有效提升數據處理的效率與精準度。在大規模業務的生產驗證下，EnginePlus 兼具快速接入、簡單易用、高性能、高穩定性等特點。

　　陳緒舉例稱，在典型的個性化算法業務場景里，會存在多個實時流，包括用戶數據流、item 數據流、交互數據流、離線數據等，通過 StarLake 數據湖框架，實時流可以直接并發入湖，使多個維度的更新同步進行。

　　結合 OSS 為數據湖提供的存儲能力，就能搭建起一個實時化的寬表，在這個過程中，基本消除了傳統數倉建模和 ETL 流程，隨后就可以對接分析、BI 和 AI 的計算。

　　如此，業務流程變得更加敏捷，數據架構得到了大幅簡化。據了解，這套架構已經在廣告、電商、風控等場景得到落地使用。

　　數據湖場景下，云商產品去向何方?

　　作為云原生數據湖的深度用戶，匯量科技從業務視角分享了 StarLake 數據湖框架的架構實踐。從架構角度，針對數據湖的場景，匯量科技希望未來云廠商在產品功能上如何進一步發展?

　　在演講后的圓桌討論環節，陳緒提出，站在互聯網業務和云原生架構視角看“湖倉一體”的演進，未來將會是應用場景和底層架構融合“co-design” 的趨勢。

　　陳緒認為，EnginePlus 的數據湖組件 StarLake，根據業務場景以及面向云上對象存儲需要有新的融合設計，這同時也是一種新的“co-design”;在湖倉一體趨勢中，大家也看到了對象存儲和應用層的融合——例如，近期 OSS 推出的加速器就是一個很好的功能;未來，云廠商在對象存儲上進一步提升元數據管理、一致性、并發吞吐等能力，更好地支撐各類實時數據分析的場景，能夠進一步在湖上統一數據分析體系，是非常有意義的趨勢。

　　陳緒在圓桌討論環節

　　伴隨著新的行業發展趨勢，企業有望實現新一代數據智能開發、解放業務生產力，組成更美好的“云上創新”全景圖。