數(shù)據(jù)中臺(tái)被譽(yù)為大數(shù)據(jù)的下一站，由阿里興起，核心思想是數(shù)據(jù)共享，2015年阿里提出“大中臺(tái)，小前臺(tái)”的策略。2018 年因?yàn)?ldquo;騰訊數(shù)據(jù)中臺(tái)論”，中臺(tái)再度成為了人們談?wù)摰慕裹c(diǎn)。

2019年，似乎人人都在提數(shù)據(jù)中臺(tái)，但卻不是所有人都清楚數(shù)據(jù)中臺(tái)到底意味著什么。數(shù)據(jù)中臺(tái)是只有大廠才需要考慮的高大上的概念嗎？普通企業(yè)該不該做數(shù)據(jù)中臺(tái)？數(shù)據(jù)中臺(tái)的出現(xiàn)會(huì)給現(xiàn)有數(shù)據(jù)從業(yè)者們帶來顛覆式的挑戰(zhàn)嗎？

數(shù)據(jù)中臺(tái)不是大數(shù)據(jù)平臺(tái)！

首先它不是一個(gè)平臺(tái)，也不是一個(gè)系統(tǒng)，如果有廠商說他們有個(gè)數(shù)據(jù)中臺(tái)賣給你，對(duì)不起，它是個(gè)騙子。

要回答數(shù)據(jù)中臺(tái)是什么，首先要探討一下中臺(tái)到底是什么。雖然沒有明確的定義，但是作為理工直男，我們可以先把中臺(tái)看作是一種中間層。既然是一種中間層，那么中臺(tái)確實(shí)是一種十足技術(shù)用語，我們可以完全從技術(shù)角度來探討了。

我們可以應(yīng)用 Gartner 的 Pace Layer 來理解為什么要有中間層，這樣可以更好地理解中臺(tái)的定位和價(jià)值。Pace Layer 里提到，可以按照事物變化的速度來分層，這樣可以逐層分析并設(shè)計(jì)合理的邊界與服務(wù)。

在數(shù)據(jù)開發(fā)中，核心數(shù)據(jù)模型的變化是相對(duì)緩慢的，同時(shí)，對(duì)數(shù)據(jù)進(jìn)行維護(hù)的工作量也非常大；但業(yè)務(wù)創(chuàng)新的速度、對(duì)數(shù)據(jù)提出的需求的變化，是非常快速的。

數(shù)據(jù)中臺(tái)的出現(xiàn)，就是為了彌補(bǔ)數(shù)據(jù)開發(fā)和應(yīng)用開發(fā)之間，由于開發(fā)速度不匹配，出現(xiàn)的響應(yīng)力跟不上的問題。

數(shù)據(jù)中臺(tái)解決的問題可以總結(jié)為如下三點(diǎn)：

1. 效率：為什么應(yīng)用開發(fā)增加一個(gè)報(bào)表，就要十幾天時(shí)間？為什么不能實(shí)時(shí)獲得用戶推薦清單？當(dāng)業(yè)務(wù)人員對(duì)數(shù)據(jù)產(chǎn)生一點(diǎn)疑問的時(shí)候，需要花費(fèi)很長(zhǎng)的時(shí)間，結(jié)果發(fā)現(xiàn)是數(shù)據(jù)源的數(shù)據(jù)變了，最終影響上線時(shí)間。
2. 協(xié)作問題：當(dāng)業(yè)務(wù)應(yīng)用開發(fā)的時(shí)候，雖然和別的項(xiàng)目需求大致差不多，但因?yàn)槭莿e的項(xiàng)目組維護(hù)的，所以數(shù)據(jù)還是要自己再開發(fā)一遍。
3. 能力問題：數(shù)據(jù)的處理和維護(hù)是一個(gè)相對(duì)獨(dú)立的技術(shù)，需要相當(dāng)專業(yè)的人來完成，但是很多時(shí)候，我們有一大把的應(yīng)用開發(fā)人員，而數(shù)據(jù)開發(fā)人員很少。

這三類問題都會(huì)導(dǎo)致應(yīng)用開發(fā)團(tuán)隊(duì)變慢。這就是中臺(tái)的關(guān)鍵——讓前臺(tái)開發(fā)團(tuán)隊(duì)的開發(fā)速度不受后臺(tái)數(shù)據(jù)開發(fā)的影響。

數(shù)據(jù)中臺(tái)是聚合和治理跨域數(shù)據(jù)，將數(shù)據(jù)抽象封裝成服務(wù)，提供給前臺(tái)以業(yè)務(wù)價(jià)值的邏輯概念。

如下圖所示：

DData API 是數(shù)據(jù)中臺(tái)的核心，它是連接前臺(tái)和后臺(tái)的橋梁，通過 API 的方式提供數(shù)據(jù)服務(wù)，而不是直接把數(shù)據(jù)庫給前臺(tái)、讓前臺(tái)開發(fā)自行使用數(shù)據(jù)。至于產(chǎn)生 DataAPI 的過程，怎么樣讓 DataAPI 產(chǎn)生得更快，怎么樣讓 DATA API 更加清晰，怎么樣讓 DATA API 的數(shù)據(jù)質(zhì)量更好，這些是要圍繞數(shù)據(jù)中臺(tái)去構(gòu)建的能力。

其實(shí)這些概念說多了是很虛的，那我們就結(jié)合阿里的例子來講解。

阿里數(shù)據(jù)中臺(tái)詳解

1、阿里數(shù)據(jù)中臺(tái)賦能業(yè)務(wù)全景圖

在架構(gòu)圖中，看到最下面的內(nèi)容主要是數(shù)據(jù)采集和接入，按照業(yè)態(tài)接入數(shù)據(jù)（比如淘寶、天貓、盒馬等），把這些數(shù)據(jù)抽取到計(jì)算平臺(tái)；通過OneData體系，以“業(yè)務(wù)板塊+分析維度”為架構(gòu)去構(gòu)建“公共數(shù)據(jù)中心”。

基于公共數(shù)據(jù)中心在上層根據(jù)業(yè)務(wù)需求進(jìn)行建設(shè)：消費(fèi)者數(shù)據(jù)體系、企業(yè)數(shù)據(jù)體系、內(nèi)容數(shù)據(jù)體系等。

經(jīng)過深度加工后，數(shù)據(jù)就可以發(fā)揮其價(jià)值被產(chǎn)品、業(yè)務(wù)所用；最后通過統(tǒng)一的數(shù)據(jù)服務(wù)中間件“OneService”提供統(tǒng)一數(shù)據(jù)服務(wù)。

2、阿里數(shù)據(jù)中臺(tái)三大體系

經(jīng)過多年實(shí)戰(zhàn)，沉淀出了阿里云上數(shù)據(jù)中臺(tái)內(nèi)核能力框架體系：產(chǎn)品+技術(shù)+方法論。

歷經(jīng)阿里生態(tài)內(nèi)各種實(shí)戰(zhàn)歷練后，云上數(shù)據(jù)中臺(tái)從業(yè)務(wù)視角而非純技術(shù)視角出發(fā)，智能化構(gòu)建數(shù)據(jù)、管理數(shù)據(jù)資產(chǎn)，并提供數(shù)椐調(diào)用、數(shù)據(jù)監(jiān)控、數(shù)據(jù)分析與數(shù)據(jù)展現(xiàn)等多種服務(wù)。

承技術(shù)啟業(yè)務(wù)，是建設(shè)智能數(shù)據(jù)和催生數(shù)據(jù)智能的引擎。在OneData、OneEntity、OneService三大體系，特別是其方法論的指導(dǎo)下，云上數(shù)據(jù)中臺(tái)本身的內(nèi)核能力在不斷積累和沉淀。在阿里巴巴，幾乎所有人都知道云上數(shù)據(jù)中臺(tái)的三大體系，如上圖所示。

OneData致力干統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，讓數(shù)據(jù)成為資產(chǎn)而非成本；OneEntity致力于統(tǒng)一實(shí)體，讓數(shù)據(jù)融通而以非孤島存在；OneService致力于統(tǒng)一數(shù)據(jù)服務(wù)，讓數(shù)據(jù)復(fù)用而非復(fù)制。

這三大體系不僅有方法論，還有深刻的技術(shù)沉淀和不斷優(yōu)化的產(chǎn)品沉淀，從而形成了阿里巴巴云上數(shù)據(jù)中臺(tái)內(nèi)核能力框架體系。

3、阿里數(shù)據(jù)中臺(tái)及賦能業(yè)務(wù)模式支撐

阿里數(shù)據(jù)中臺(tái)，經(jīng)歷了所有阿里生態(tài)內(nèi)業(yè)務(wù)的考驗(yàn)，包括新零售、金融、物流、營(yíng)銷、旅游、健康、大文娛、社交等領(lǐng)域。

數(shù)據(jù)中臺(tái)除了建立起自已的內(nèi)核能力之外，向上賦能業(yè)務(wù)前臺(tái)，向下與統(tǒng)一計(jì)算后臺(tái)連接，融為一體。

4、數(shù)據(jù)中臺(tái)六大數(shù)據(jù)技術(shù)領(lǐng)域

前文提到，在建設(shè)阿里數(shù)據(jù)公共層之初，規(guī)劃了六大數(shù)據(jù)技術(shù)領(lǐng)域，即數(shù)據(jù)模型領(lǐng)域、存儲(chǔ)治理領(lǐng)域、數(shù)據(jù)質(zhì)量領(lǐng)域、安全權(quán)限領(lǐng)域、平臺(tái)運(yùn)維領(lǐng)域、研發(fā)工程領(lǐng)域。

而在阿里數(shù)據(jù)公共層建設(shè)項(xiàng)目第二階段完成存儲(chǔ)治理領(lǐng)域，已經(jīng)被擴(kuò)大到資源治理領(lǐng)域，進(jìn)而升級(jí)到數(shù)據(jù)資產(chǎn)管理領(lǐng)域，安全權(quán)限領(lǐng)域，升級(jí)到數(shù)據(jù)信任領(lǐng)域，因?yàn)楹芏喙ぷ饕呀?jīng)在產(chǎn)品中實(shí)現(xiàn)，平臺(tái)運(yùn)維領(lǐng)域不再作為一個(gè)數(shù)據(jù)技術(shù)領(lǐng)域被推進(jìn)，數(shù)據(jù)模型領(lǐng)域與數(shù)據(jù)質(zhì)量領(lǐng)域還在持續(xù)推進(jìn)中，不過增加了許多新的內(nèi)涵，智能黑盒領(lǐng)域則是新起之秀。

由此可見，數(shù)據(jù)技術(shù)領(lǐng)域不是一成不變的，而是隨著業(yè)務(wù)的發(fā)展和技術(shù)的突破不斷擴(kuò)大、 升華的。

那么，實(shí)時(shí)的數(shù)據(jù)中臺(tái)怎么做？

下面是實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)中臺(tái)的一種邏輯架構(gòu)，方便你去理解，其實(shí)最關(guān)鍵的是實(shí)時(shí)模型那一層。

1、實(shí)時(shí)接入：

不同類型的數(shù)據(jù)需要不同的接入方式，flume+kafka現(xiàn)在是標(biāo)配，其他還有文件、數(shù)據(jù)庫的DSG等等技術(shù)。比如運(yùn)營(yíng)商就有B域的訂購、通話，O域的位置、上網(wǎng)等各類實(shí)時(shí)數(shù)據(jù)。

2、計(jì)算框架：

這里只列出一種，基于Kappa架構(gòu)實(shí)現(xiàn)實(shí)時(shí)/離線一體化業(yè)務(wù)開發(fā)能力，相對(duì)于傳統(tǒng)Lambda架構(gòu)，開發(fā)人員只需面對(duì)一個(gè)框架，開發(fā)、測(cè)試和運(yùn)維的難度都相對(duì)較小，且能充分發(fā)揮Flink流式計(jì)算框架一點(diǎn)執(zhí)行、高吞吐、毫秒級(jí)響應(yīng)、批流融合的特點(diǎn)。

比如將流計(jì)算組件劃分實(shí)時(shí)數(shù)據(jù)切片，批處理組件提供離線數(shù)據(jù)模型（駐留內(nèi)存），兩類數(shù)據(jù)在處理過程中實(shí)現(xiàn)批流關(guān)聯(lián)。

3、實(shí)時(shí)模型：

跟數(shù)據(jù)倉庫模型一樣，實(shí)時(shí)模型肯定首先是面向業(yè)務(wù)的，比如運(yùn)營(yíng)商有流量運(yùn)營(yíng)、服務(wù)提醒、競(jìng)爭(zhēng)應(yīng)對(duì)、放好拉新、廳店引流、語音消費(fèi)、運(yùn)營(yíng)評(píng)估、實(shí)時(shí)關(guān)懷、實(shí)時(shí)預(yù)警、實(shí)時(shí)洞察、實(shí)時(shí)推薦等一系列的實(shí)時(shí)場(chǎng)景，你總是要基于你的實(shí)時(shí)業(yè)務(wù)提煉出具備共性的數(shù)據(jù)模型要素。

比如放號(hào)拉新中的外來務(wù)工實(shí)時(shí)營(yíng)銷，其中可能的觸發(fā)場(chǎng)景是針對(duì)漫入到某個(gè)交通樞紐并駐留10分鐘以上的用戶進(jìn)行營(yíng)銷投放，“在某個(gè)位置的駐留時(shí)長(zhǎng)”這個(gè)公共要素可能就是一種可復(fù)用的實(shí)時(shí)模型。

實(shí)時(shí)模型縱向可以劃分為DWD和DW兩層，DWD模型做的其實(shí)是針對(duì)各類實(shí)時(shí)數(shù)據(jù)做命名的標(biāo)準(zhǔn)化和過濾字段的操作，方便進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化管理，DW模型這里分成了三大類：動(dòng)態(tài)模型、事件模型和時(shí)序模型，每種模型適合不同的場(chǎng)景，同時(shí)需要采用與之適配的存儲(chǔ)格式。

動(dòng)態(tài)模型：對(duì)實(shí)時(shí)的數(shù)據(jù)進(jìn)行匯總統(tǒng)計(jì)，適合做實(shí)時(shí)的統(tǒng)計(jì)指標(biāo)分析，比如實(shí)時(shí)的業(yè)務(wù)辦理量，一般可存儲(chǔ)于Kafka和Hbase。

事件模型：把實(shí)時(shí)的數(shù)據(jù)抽象成一系列業(yè)務(wù)事件，比如從位置日志軌跡中記錄用戶的位置變更事件，從而可以觸發(fā)LBS的位置營(yíng)銷，以下是典型的位置事件模型設(shè)計(jì)，一般可存儲(chǔ)于MQ和Redis：

你也可以設(shè)計(jì)滑動(dòng)窗口模型，比如保存最新一小時(shí)的分鐘級(jí)的滑動(dòng)窗口位置信息：

時(shí)序模型：主要保存用戶的在線的時(shí)空位置等信息，可以基于業(yè)務(wù)場(chǎng)景需要進(jìn)行各種快速的計(jì)算，比如非常方便的計(jì)算駐留時(shí)長(zhǎng)，存儲(chǔ)于Hbase或TSDB（時(shí)序數(shù)據(jù)庫）：

4、實(shí)時(shí)服務(wù)

有了實(shí)時(shí)模型還不夠，數(shù)據(jù)中臺(tái)還需要提供圖形化、流程化、可編排的數(shù)據(jù)開發(fā)工具，才能真正的降低實(shí)時(shí)數(shù)據(jù)開發(fā)成本。但由于離線和實(shí)時(shí)數(shù)據(jù)處理的技術(shù)手段不同，導(dǎo)致針對(duì)這兩種類型的數(shù)據(jù)開發(fā)和管理大多是在不同的平臺(tái)承載的。

比如以前我們的離線數(shù)據(jù)模型是通過DACP平臺(tái)管理的，但實(shí)時(shí)數(shù)據(jù)則游離在DACP平臺(tái)之外，其往往屬于應(yīng)用本身的一部分，應(yīng)用需要通過編寫特定腳本去消費(fèi)和處理流處理引擎中的原生數(shù)據(jù)，這種處理的門檻不僅高，而且資源浪費(fèi)也挺嚴(yán)重，每個(gè)實(shí)時(shí)應(yīng)用其實(shí)都是流數(shù)據(jù)的孤島。

站在應(yīng)用的角度看，業(yè)務(wù)其實(shí)需要的是一個(gè)統(tǒng)一的數(shù)據(jù)開發(fā)管理平臺(tái)，離線和實(shí)時(shí)數(shù)據(jù)應(yīng)作為統(tǒng)一的對(duì)象進(jìn)行管理，比如具備混合編排，混合關(guān)聯(lián)等能力，用簡(jiǎn)單的類SQL定制化輸出應(yīng)用所需的各類數(shù)據(jù)，從而高效的對(duì)外提供實(shí)時(shí)/離線數(shù)據(jù)服務(wù)。

5、實(shí)時(shí)應(yīng)用

數(shù)據(jù)中臺(tái)如果能支持實(shí)時(shí)數(shù)據(jù)的快速編排，根據(jù)我們的測(cè)算，其實(shí)時(shí)場(chǎng)景應(yīng)用的數(shù)據(jù)開發(fā)、測(cè)試、部署周期會(huì)由0.5-1個(gè)月降低為1-2天，效益是很高的。

阿里處理的數(shù)據(jù)量已達(dá)EB級(jí)，相當(dāng)于10億部高清電影的存儲(chǔ)量。在 2016年雙十一當(dāng)天，實(shí)時(shí)計(jì)算處理的數(shù)據(jù)量達(dá)到9400萬條/秒。而從用戶產(chǎn)生數(shù)據(jù)源頭采集、整合并構(gòu)速數(shù)據(jù)、提供數(shù)據(jù)服務(wù)，到前臺(tái)展現(xiàn)完成僅需2.5秒。

"友盟+”是阿里把收購的幾家數(shù)據(jù)公司整合升級(jí)后，組成的一家數(shù)據(jù)公司。這里僅以2017年“友盟+”對(duì)外公開的部分指標(biāo)為例，其中的數(shù)據(jù)覆蓋14億部活躍設(shè)備、685 萬家網(wǎng)站、135萬個(gè)應(yīng)用程序，日均處理約280億條數(shù)據(jù)，這一切都建立在阿里強(qiáng)大的數(shù)據(jù)處理技術(shù)底座之上。

如果實(shí)時(shí)數(shù)據(jù)足夠多，場(chǎng)景足夠豐富，建立實(shí)時(shí)數(shù)據(jù)中臺(tái)的必要性還是非常高的。

隨著大數(shù)據(jù)內(nèi)外運(yùn)營(yíng)的深入，我們發(fā)現(xiàn)這種需求越來越多，你會(huì)驚奇的發(fā)現(xiàn)，很多時(shí)候需求是隨著你技術(shù)能力的加強(qiáng)而增加的，很多時(shí)候，技術(shù)就是第一生產(chǎn)力。我們很多負(fù)責(zé)變現(xiàn)的產(chǎn)品、運(yùn)營(yíng)經(jīng)理應(yīng)是深有體會(huì)的。

從那個(gè)時(shí)候起，我就在想我們能否建立一個(gè)真正的實(shí)時(shí)數(shù)據(jù)中臺(tái)，能夠快速高效的創(chuàng)建海量的實(shí)時(shí)應(yīng)用，從而將大數(shù)據(jù)的管理和應(yīng)用水平提升到一個(gè)新的階段，終于我們現(xiàn)在走到了這條路上。