當前，數(shù)據(jù)驅(qū)動型業(yè)務(wù)戰(zhàn)略與信息產(chǎn)品的潛力比以往任何時候都要大。對于多數(shù)企業(yè)機構(gòu)而言，數(shù)據(jù)分析與管理已成為它們業(yè)務(wù)戰(zhàn)略的重要驅(qū)動力。數(shù)據(jù)分析與管理的負責人正在通過挖掘數(shù)據(jù)價值來驅(qū)動數(shù)字化轉(zhuǎn)型、創(chuàng)造盈利機會、改善客戶體驗和重塑行業(yè)格局。

隨著云、本地、邊緣間的界限逐漸消失，數(shù)據(jù)管理的未來可以用四個關(guān)鍵詞來描述。

四大關(guān)鍵字

• 首先是分布式(Distributed)，未來的數(shù)據(jù)管理將是分布式的，因為數(shù)據(jù)管理須隨數(shù)據(jù)所在的位置而進行。
• 其次是無服務(wù)器(Serverless)，此概念較特殊、并不是指未來的數(shù)據(jù)管理不再需要服務(wù)器，而是指未來將沒有一個明確的集中式服務(wù)器。
• 再者是協(xié)調(diào)(Orchestrated)，今天的數(shù)據(jù)會產(chǎn)生在不同的地方和設(shè)備上，所以須把它們協(xié)調(diào)管理。
• 元數(shù)據(jù)(Metadata)，無論數(shù)據(jù)分散在何處，元數(shù)據(jù)均能把它們協(xié)調(diào)在一起，因此元數(shù)據(jù)是未來數(shù)據(jù)管理中非常重要的一個元素。

三大維度

總體而言，數(shù)據(jù)管理的未來發(fā)展趨勢可從三個維度來看——架構(gòu)的改變、技術(shù)的轉(zhuǎn)變以及組織的衍化。

1架構(gòu)的改變(Architecture Shifts)

Gartner于2018年針對數(shù)據(jù)和分析的采用趨勢進行了一項調(diào)查(多選題)。結(jié)果顯示企業(yè)機構(gòu)目前使用最普遍的信息基礎(chǔ)架構(gòu)技術(shù)為“基于云平臺的數(shù)據(jù)存儲”(63%)。

一些傳統(tǒng)技術(shù)，例如數(shù)據(jù)倉庫(Data Warehouse)和數(shù)據(jù)庫管理系統(tǒng)(DBMS)仍然占著相當大的比重。這些傳統(tǒng)技術(shù)在未來并不會消失。

舉例而言，“數(shù)據(jù)倉庫”是一個非常廣泛的案例，未來數(shù)據(jù)的研究和分析都將需要用到該技術(shù)——主要配合在特定案例和場合中使用。

此外，未來還將有諸如“數(shù)據(jù)目錄”(Data Catalogs)這樣的技術(shù)被廣泛使用。

“數(shù)據(jù)目錄”是元數(shù)據(jù)的重要基礎(chǔ)，以往“數(shù)據(jù)目錄”主要用于幫助企業(yè)機構(gòu)了解數(shù)據(jù)的定義和來源，但現(xiàn)在的趨勢是“數(shù)據(jù)目錄”可以幫助企業(yè)機構(gòu)了解數(shù)據(jù)的特性、使用者以及使用場景。

因此，在數(shù)據(jù)管理的未來趨勢中，“數(shù)據(jù)目錄”將具有舉足輕重的地位。

此外，數(shù)據(jù)湖(Date Lake)已從此前放置在內(nèi)部數(shù)據(jù)中心中轉(zhuǎn)變?yōu)槟壳翱煞旁谠贫松希@是一個非常大的變化，未來諸如此類比較高端的技術(shù)均可以移至云平臺之上。

1)重“關(guān)聯(lián)”、輕“采集” 

從上述調(diào)查背景可以看出，未來的數(shù)據(jù)管理和集成將會變得更加“關(guān)聯(lián)”(Connect)，更少“采集”(Collect)。

當前，在數(shù)據(jù)管理上，企業(yè)機構(gòu)通常重“采集”、輕“關(guān)聯(lián)”，此情形在中國尤為嚴重——即企業(yè)機構(gòu)在采集和存儲數(shù)據(jù)后，并不能立即挖掘其中的價值，失去其時效性。

原因在于，從數(shù)據(jù)被“采集”到應(yīng)用其價值，這中間有相當長的流程(如上左圖所示)，包括描述、整理、集成、分享、治理和實施。這一長串流程對企業(yè)機構(gòu)內(nèi)部IT技術(shù)具有相當大的考驗。

隨著機器學習技術(shù)的引入和元數(shù)據(jù)的應(yīng)用，目前數(shù)據(jù)管理和集成已開始呈現(xiàn)出一種新趨勢，即更加注重數(shù)據(jù)的“關(guān)聯(lián)”(如上右圖所示)，也就是指無論數(shù)據(jù)是在本地、云端、某個設(shè)備感應(yīng)器上或任何地方，我們都可以在數(shù)據(jù)保留在原地的情況下，將它們關(guān)聯(lián)起來，而無須采集到特定地方。

在未來增強式的數(shù)據(jù)管理的環(huán)境中，自動發(fā)掘數(shù)據(jù)、透過機器自動意識識別數(shù)據(jù)中的價值、認定有價值的數(shù)據(jù)、分析數(shù)據(jù)、自動采用適合數(shù)據(jù)的安全措施、分享數(shù)據(jù)、優(yōu)化數(shù)據(jù)，最終實現(xiàn)在最短時間內(nèi)將精準的數(shù)據(jù)發(fā)送給對的人，對于企業(yè)機構(gòu)至關(guān)重要。

2)“移動性數(shù)據(jù)”成為主要案例

數(shù)據(jù)管理與集成方面的另一個趨勢是“移動性數(shù)據(jù)”(Data in Motion)。

以往，諸如交易產(chǎn)生后，企業(yè)機構(gòu)便把數(shù)據(jù)存儲進數(shù)據(jù)庫或數(shù)據(jù)中心內(nèi)，后續(xù)任務(wù)即制作報表等工作，這類的數(shù)據(jù)被稱為“靜態(tài)型”。

“移動性數(shù)據(jù)”指的是在交易過程中，企業(yè)機構(gòu)就可以看到實時的數(shù)據(jù)處理——無論數(shù)據(jù)處在邊緣設(shè)備還是在數(shù)據(jù)中心內(nèi)。數(shù)據(jù)始終是數(shù)據(jù)商用平臺的核心所在。

3)集中式、分布式、隨機式數(shù)據(jù)治理并存

與數(shù)據(jù)管理(Data Management)不同，數(shù)據(jù)治理(Data Governance)注重數(shù)據(jù)的使用者、使用方式、使用權(quán)限的合規(guī)性制定。

未來的“數(shù)據(jù)治理”將會非常動態(tài)——可以是集中式、分布式，亦可是隨機式。“隨機式”是指企業(yè)機構(gòu)可以通過機器學習來增強數(shù)據(jù)內(nèi)容以及評估用例。

舉例而言，某件物品在被海關(guān)征收關(guān)稅時，海關(guān)可能不知如何“治理”它。但“機器學習”引擎可以自動分辨該物品的屬性，進而據(jù)此自動幫助海關(guān)生成此件物品應(yīng)該遵循的“治理”規(guī)則。

4)元數(shù)據(jù)是未來數(shù)據(jù)管理的關(guān)鍵

企業(yè)機構(gòu)的數(shù)據(jù)來源不僅多種多樣(包括ERP、CRM、SCM和HCM)，且用途極為廣泛(可用于外部供應(yīng)商、客戶與合作伙伴，呈現(xiàn)方式包括圖表、報表和指示板)。

將這些來源與用途連接起來——即連通無服務(wù)器進程(Serverless Processes)和物理合并(Physical Consolidation)的關(guān)鍵橋梁就是元數(shù)據(jù)。

2技術(shù)的轉(zhuǎn)變(Technology Changes)

Gartner預(yù)計，在2021年之前，能夠采用數(shù)據(jù)中心、數(shù)據(jù)湖或者數(shù)據(jù)倉庫這種統(tǒng)一戰(zhàn)略的企業(yè)機構(gòu)，將比競爭對手多出30%的使用案例。

此外，在2023年之前，75%的數(shù)據(jù)庫將遷移至云平臺上，此舉意味著減少數(shù)據(jù)庫管理系統(tǒng)供應(yīng)商的規(guī)模并且增加數(shù)據(jù)治理和集成的復(fù)雜性。

1)人工智能讓數(shù)據(jù)管理軟件的運行更加流暢

現(xiàn)在，人工智能可以幫助企業(yè)機構(gòu)增強數(shù)據(jù)管理。事實上，數(shù)據(jù)管理技術(shù)的未來就是人工智能和機器學習的應(yīng)用。

具體而言，有以下四方面：

一是數(shù)據(jù)質(zhì)量(Data Quality)。目前市場上有很多供應(yīng)商都是在用機器學習的方式幫助企業(yè)機構(gòu)擴展和增強數(shù)據(jù)的分析、清理、連接、識別、語義協(xié)調(diào)和重組。企業(yè)機構(gòu)在不同數(shù)據(jù)源中管理主數(shù)據(jù)質(zhì)量以往需要人為操作、費時費力，而機器學習可以使這一整串流程變得完全自動化，且準確率明顯提高。

第二是主數(shù)據(jù)管理(Master Data Management)。機器學習可以幫助企業(yè)機構(gòu)配置和優(yōu)化主數(shù)據(jù)，尤其在記錄匹配和算法融合方面，機器學習可以讓企業(yè)機構(gòu)對主數(shù)據(jù)的管理更加便利。

第三是數(shù)據(jù)集成(Data Integration)。人工智能可以通過升級多個相同模式并根據(jù)語義分析，向企業(yè)機構(gòu)告知數(shù)據(jù)源的相關(guān)性，推薦企業(yè)機構(gòu)將相同的數(shù)據(jù)源進行連接，最終使得數(shù)據(jù)集成的流程更加簡化。

第四是數(shù)據(jù)庫管理系統(tǒng)(DataBase Management System)。人工智能技術(shù)的引入將使數(shù)據(jù)庫從存儲、索引、分區(qū)到調(diào)整、優(yōu)化、修補——這一系列繁瑣的人工流程變得更加自動化。

2)動態(tài)元數(shù)據(jù)創(chuàng)造“自我驅(qū)動型”數(shù)據(jù)管理

機器學習和人工智能是一個后端底層技術(shù)，諸如性能分析等更多數(shù)據(jù)管理工作的完成還需動態(tài)元數(shù)據(jù)的支持。元數(shù)據(jù)專門用于描述數(shù)據(jù)的特質(zhì)，幫助企業(yè)機構(gòu)將不同的數(shù)據(jù)進行關(guān)聯(lián)并做推薦。

以數(shù)據(jù)分析為例，企業(yè)機構(gòu)在定義數(shù)據(jù)的相關(guān)性時，動態(tài)元數(shù)據(jù)就會起到中間凝合力的作用。

3)開源軟件收益與風險的平衡

提及開源，一般想到的是總擁有成本(TCO)很低、企業(yè)機構(gòu)的回本速度很快。

雖然企業(yè)機構(gòu)有時無法通過開源軟件(OSS)得到所需支持，但目前市場上已有很多商業(yè)軟件包可給予幫助。

• 其次，若企業(yè)機構(gòu)需要研發(fā)創(chuàng)新并保持靈活性，那么開源軟件應(yīng)是首要選擇。
• 再者，據(jù)Gartner調(diào)查，全球90%的企業(yè)機構(gòu)已把開源軟件用在任務(wù)關(guān)鍵型的IT流程中。
• 企業(yè)機構(gòu)應(yīng)把服務(wù)水平協(xié)議與商業(yè)供應(yīng)商的平衡性放入自身的數(shù)據(jù)管理策略考量中。

3組織的衍化(Organization Evolves)

Gartner預(yù)測，到2022年之前，使用動態(tài)元數(shù)據(jù)去連接、優(yōu)化、自動化數(shù)據(jù)集成流程的企業(yè)機構(gòu)將減少30%的數(shù)據(jù)交付的時間。

此外，到2023年之前，在數(shù)據(jù)管理中使用人工智能技術(shù)能夠幫助企業(yè)機構(gòu)進行更多的自動化工作，因此這些企業(yè)機構(gòu)對于IT人員需求將減少20%。

1)自動化數(shù)據(jù)與分析工作即將來臨

Gartner就數(shù)據(jù)分析工作的自動化優(yōu)先級進行過一項調(diào)研。調(diào)研結(jié)果顯示，數(shù)據(jù)集成因為其最費時間也最易出錯。

此外，機器學習相關(guān)技術(shù)的研發(fā)需要進行大量前期的數(shù)據(jù)準備(Data Preparation)。Gartner預(yù)計數(shù)據(jù)科學家大約需要花費70%到80%的時間進行數(shù)據(jù)準備。

因此，若數(shù)據(jù)準備無法進行自動化，那么項目交付的時間就會極其漫長。

2)人機聯(lián)盟：少花錢、多做事

未來，數(shù)據(jù)集成工作需要人與機器共同完成。數(shù)據(jù)存在不同的端口且數(shù)量龐大，因此單獨的人力難以進行處理、需有工具進行支持。未來，這種工具將引入人工智能與機器學習技術(shù)，讓人力做不到或短期內(nèi)無法實現(xiàn)的工作變成現(xiàn)實。

與此同時，此前從事這類工作的IT工程師將可騰出時間去做更多、更重要的事情。

3)元數(shù)據(jù)與數(shù)據(jù)管理架構(gòu)緊密貼合

元數(shù)據(jù)的管理平臺上有很多引擎，有些可以根據(jù)數(shù)據(jù)目錄，即目前所存儲的數(shù)據(jù)信息，自動地發(fā)現(xiàn)企業(yè)機構(gòu)目前架構(gòu)中有哪些數(shù)據(jù)源還未掌控，然后進行處理。

元數(shù)據(jù)有兩種維度——度量(Metrics)與語義(Meaning)。

以往，企業(yè)機構(gòu)做得更多的是語義，但在未來元數(shù)據(jù)的管理上，兩者具有同等重要性，甚至“度量”的地位更高，因為它可以根據(jù)此前類似數(shù)據(jù)的集成方式自動進行數(shù)據(jù)挖掘和規(guī)劃。

4)數(shù)據(jù)管理新角色不斷涌現(xiàn)

Gartner針對“企業(yè)機構(gòu)目前及2020前的數(shù)據(jù)管理職位”進行過調(diào)研，結(jié)果如上圖所示。其中，需重點強調(diào)的是數(shù)據(jù)管家(Data Steward)。“數(shù)據(jù)管家”在未來的數(shù)據(jù)管理工作中占有極其重要的地位。

當前，企業(yè)機構(gòu)已經(jīng)意識到自己的數(shù)據(jù)源變得更多、數(shù)據(jù)使用案例變得更為復(fù)雜，在此情況下，它們需要新的崗位去應(yīng)對挑戰(zhàn)。

但需強調(diào)的是，每個企業(yè)機構(gòu)都有自己不同的戰(zhàn)略，它們需要根據(jù)預(yù)測的業(yè)務(wù)結(jié)果來應(yīng)用不同的技能、設(shè)置不同的數(shù)據(jù)管理崗位。