數據驅動是企業數字化轉型的一個重要特點。隨著企業對數據分析和使用的不斷增長，數據來源多，數據工具復雜，參與數據工作的人多，數據開發的工作量越來越大，同時還要求周期短、質量高。對此，數據團隊持續優化數據開發流程、應用，借鑒了DevOps、精益管理等方法，形成了DataOps方法和實踐，旨在讓數據在企業內快速流動，服務于數據分析甚至業務運營。

DataOps的概念最早出現于2014年，由Lenny Liebmann提出，到2018年被Gartner納入到技術成熟度曲線，標志著DataOps正式被業界接受。

如果不好理解DataOps，不妨先看看Twitter的例子。Twitter是一家數據驅動型的公司，從2011年的300人，發展到2014年的4000人，大數據平臺從80臺服務器的Hadoop集群，擴展到8000臺服務器的核心數據處理平臺，它的底層支撐就是一個全局共享的大數據平臺。當業務和組織快速擴張時，能做到統一數據規范、消除數據和應用孤島。

與DevOps類似，DataOps要實現的是數據的持續集成、持續開發和持續部署。智領云聯合創始人&CEO彭鋒表示，要構建 DataOps 所需的通用平臺，一般需要以下技術：云原生架構，容器，實時和流處理，多分析引擎，集成的應用程序和數據管理，多租戶和安全性，DevOps 工具。

當然，DataOps的使用和發展也需要有正確的工具和正確的思維加持，借助平臺及工具的力量來實現“數據、數據平臺、DataOps”的成功。智領云自主研發的即開即用，快速搭建數據工程的輕量級云原生大數據開發平臺--BDOS Online就是這樣一個平臺。

云原生解決傳統大數據平臺的痛點

BDOS Online是智領云自主研發的一款云原生Data Platform as a Service (DPaaS)產品，旨在為需要高效快速實現多源異構數據應用開發、發布，運維的企業級用戶提供一個在線協同數據應用開發及運營平臺。

BDOS Online 的底層是純K8s云原生的，這是因為現有大數據平臺及數據中臺建設方式效率低，開發發布流程復雜，無法形成客戶的自主數據能力，系統性能低下，容易造成數據孤島，應用孤島，云原生體系則可以解決這些痛點。

首先，純K8s的數據平臺，去除了對Hadoop的依賴，可以直接在K8s運行現有工作負載，統一資源管理，提升資源使用率，便于多租戶計費管理，大幅降低運維成本。

第二，類似于K8s對于集群管理的改造，將數據流水線的運行改造成代碼式管理，集成開發，一次編寫，隨處運行。

第三，在云原生架構下提供模塊化的數據工程，以產品形式提供面向場景的解決方案，用戶可以自助使用、分別購買，按使用量付費。

100%云原生改造之后的優勢

據彭鋒介紹，作為國內第一個K8s在線?數據平臺，BDOS Online的核心優勢有：

首先，BDOS Online是純K8s的大數據平臺，端到端的，以在線方式提供Serverless方式的大數據開發功能，用戶面對的直接是大數據應用和開發工具，而不是底層大數據系統。比如，用戶要運行一個Spark程序，他們看到的是Spark程序本身運行的情況，花費的資源是這個Spark程序所花費的資源，而無需安裝一個完整的大數據平臺，更無需考慮底層組件的運維管理。

第二，允許用戶以數據工程方式管理數據應用開發，真正實現數據即產品（Data as a product）。無論是實時大屏，數據看板，數倉ETL，數據服務，機器學習模型，還是通用的Docker應用，BDOS Online允許用戶在一個數據項目里集成開發和運行這些步驟，而不是散布在各個子系統中，最終數據能力可以方便的共享和復用。

第三，在K8s體系下實現了多租戶，資源隔離，混合調度，精準計費這些在傳統大數據體系下很難完成，但是對企業級數據平臺至關重要的功能，其主要基礎就是因為BDOS Online將所有的大數據組件做了K8s改造和系統繼承，一個機構的所有應用，不管是Hive ETL程序，還是Spark 機器學習程序，都在同一個機構的命名空間中管理，便于設置用戶資源限額以及使用情況。

不少廠商，包括云計算廠商，也在K8s和大數據方面做了很多工作，智領云的差異化在于BDOS Online將所有組建，都用K8s進行了改造，而不是改造一部分。同時，BDOS Online可以在線上直接使用，因為它完成了多租戶，授權健全的打通，計費等功能。

中小企業和大型機構都適用的平臺

彭鋒表示，云原生大數據平臺是一個基礎架構的服務，并沒有行業屬性。使用BDOS Online的客戶，在云上有兩種云原生的方式。針對中小客戶，或者大客戶中的創新團隊，他們不希望自己來管理一個復雜的大數據開發平臺，但是有數據分析的需求，需要大數據業務開發的管理方式。這樣的客戶可以在公有云上直接使用BDOS Online。

針對內部已經有大數據平臺，或者需要搭建大數據平臺，但是需要提供更高效的數據應用開發能力的客戶，希望能夠把整個開發統一管理起來，然后與現有的集群混排一起使用，這也是BDOS Online的一個目標使用場景。不少大企業內部的大數據平臺，因為缺乏多租戶的隔離和統一的開發管理，以及統一的開發流程的管理，使得內部大數據的平臺運維、運營、數據使用比較困難。在使用了BDOS Online這種純云原生的大數據平臺之后，可以直接使用K8s技術管理功能，大大降低了集群的運維、開發、使用成本。

結語

此前我們較為熟知的是，智領云BDOS產品，作為企業級大數據操作系統，以獨特的優勢，已經打造了包括零售、金融、物聯網、醫療等多個行業的標桿案例。而BDOS Online作為BDOS的線上簡化版本，本次采訪我們了解到它更為強大的功能，幾乎完全不需要借助其他工具平臺，所有的工作都可以在BDOS Online線上完成，無需關心各種復雜的大數據組件，只需專注實現業務即可。

掃碼即可試用