国产精品电影_久久视频免费_欧美日韩国产激情_成年人视频免费在线播放_日本久久亚洲电影_久久都是精品_66av99_九色精品美女在线_蜜臀a∨国产成人精品_冲田杏梨av在线_欧美精品在线一区二区三区_麻豆mv在线看

淺談數(shù)據(jù)倉庫架構(gòu)設(shè)計

數(shù)據(jù)庫 新聞
數(shù)據(jù)中臺從企業(yè)的視角出發(fā),要求企業(yè)在構(gòu)建數(shù)據(jù)倉庫到?jīng)Q策支持系統(tǒng)的過程中構(gòu)建一個服務(wù)型的架構(gòu)。

1. 數(shù)據(jù)中臺與DW/BI/DSS

個人認為數(shù)據(jù)中臺本質(zhì)上是一種新的適配大數(shù)據(jù)技術(shù)發(fā)展的新的“數(shù)據(jù)倉庫-決策支持(商業(yè)智能)”架構(gòu)。這個架構(gòu)是構(gòu)建在傳統(tǒng)的架構(gòu)基礎(chǔ)之上,對傳統(tǒng)架構(gòu)的一種新的發(fā)展。

數(shù)據(jù)中臺從企業(yè)的視角出發(fā),要求企業(yè)在構(gòu)建數(shù)據(jù)倉庫到?jīng)Q策支持系統(tǒng)的過程中構(gòu)建一個服務(wù)型的架構(gòu)。數(shù)據(jù)中臺希望構(gòu)建在數(shù)據(jù)倉庫基礎(chǔ)上的決策支持系統(tǒng)的建設(shè)能更加迅速敏捷,縮短業(yè)務(wù)需求實現(xiàn)過程中的數(shù)據(jù)開發(fā)過程的時間。數(shù)據(jù)中臺把應用的共性需求沉淀在中臺,做厚數(shù)據(jù)服務(wù)層,這樣應用前臺在構(gòu)建的時候可以大幅度的利用已沉淀在中臺的各種能力,可以做到快速搭建,形成大中臺小前臺的層次架構(gòu)。

1.1. 數(shù)據(jù)倉庫(DW)/商務(wù)智能(BI)/決策支持(DSS)

數(shù)據(jù)倉庫之父比爾·恩門(Bill Inmon)在1991年出版的“Building the Data Warehouse” (《建立數(shù)據(jù)倉庫》)一書中所提出的定義被廣泛接受,數(shù)據(jù)倉庫是一個面向主題的(Subject Oriented)、集成的(Integrate)、相對穩(wěn)定的(Non-Volatile)、反映歷史變化(Time Variant)的數(shù)據(jù)集合,用于支持管理決策。

數(shù)據(jù)倉庫是一個過程而不是一個項目;數(shù)據(jù)倉庫是一個環(huán)境,而不是一件產(chǎn)品。數(shù)據(jù)倉庫提供用戶用于決策支持的當前和歷史數(shù)據(jù),這些數(shù)據(jù)在傳統(tǒng)的操作型數(shù)據(jù)庫中很難或不能得到。數(shù)據(jù)倉庫技術(shù)是為了有效的把操作形數(shù)據(jù)集成到統(tǒng)一的環(huán)境中以提供決策型數(shù)據(jù)訪問,的各種技術(shù)和模塊的總稱。所做的一切都是為了讓用戶更快更方便查詢所需要的信息,提供決策支持。

商業(yè)智能(Business Intelligence,簡稱:BI),又稱商業(yè)智慧或商務(wù)智能,指用現(xiàn)代數(shù)據(jù)倉庫技術(shù)、線上分析處理技術(shù)、數(shù)據(jù)挖掘和數(shù)據(jù)展現(xiàn)技術(shù)進行數(shù)據(jù)分析以實現(xiàn)商業(yè)價值。

決策支持系統(tǒng)(Decision Support System)是一個基于計算機用于支持業(yè)務(wù)或組織決策活動的信息系統(tǒng)。 DSS服務(wù)于組織管理、運營和規(guī)劃管理層(通常是中級和高級管理層),并幫助人們對可能快速變化并且不容易預測結(jié)果的問題做出決策。決策支持系統(tǒng)可以全計算機化、人力驅(qū)動或二者結(jié)合。

從概念上來講,BI與DSS都是一組概念的概括性的總稱,可以有很多定義。從歷史沿革上來說,先有的決策支持系統(tǒng),利用計算機來輔助人做決策。后續(xù)商務(wù)智能的發(fā)展,為決策支持提供了數(shù)據(jù)分析預測的能力,商務(wù)智能(BI)提供的數(shù)據(jù)分析能力是現(xiàn)代決策支持系統(tǒng)(DSS)的基石。

(概念引用:商務(wù)智能與分析-決策支持系統(tǒng))

1.2. 先賢的一些詞匯與觀點的爭議

數(shù)據(jù)倉庫行業(yè)內(nèi)容的兩位觀點部分相左的先賢,分別是Bill Inmon與Ralph Kimball。

1.2.1. 定義與用詞

在數(shù)據(jù)倉庫支撐的分析型系統(tǒng)的用詞上:

Bill Inmon-數(shù)據(jù)倉庫是體系結(jié)構(gòu)設(shè)計環(huán)境的核心,是決策支持系統(tǒng)處理的基礎(chǔ)。(The data warehouse is the heart of the architected environment, and is the foundation of all DSS processing. )

Ralph Kimball-數(shù)據(jù)倉庫和商業(yè)智能(Data Warehousing and Business Intelligence, DW/BI)系統(tǒng)

顯然BI與DSS是有區(qū)別的,但是DW無疑是可以支撐BI和DSS。BI是手段是能力,而DSS是BI的目標。

在數(shù)據(jù)倉庫的定義上,因為Bill Inmon是數(shù)據(jù)倉庫之父,他對數(shù)據(jù)倉庫的定義獲得了廣泛的認可。而Ralph Kimball并未對數(shù)據(jù)倉庫概念有單獨的定義,但是從架構(gòu)與實現(xiàn)上來看,其實還是有區(qū)別的。

1.2.2. 架構(gòu)設(shè)計

在數(shù)據(jù)倉庫架構(gòu)的設(shè)計上:

Bill Inmon - 全局視角,要先構(gòu)建企業(yè)級數(shù)據(jù)倉庫,然后再基于企業(yè)級數(shù)據(jù)倉庫之上去構(gòu)建數(shù)據(jù)集市。數(shù)據(jù)的整合是的企業(yè)對數(shù)據(jù)有一個真正企業(yè)范圍級的觀察,業(yè)務(wù)分析人員是從整體而不是局部進行數(shù)據(jù)分析。

數(shù)據(jù)倉庫前期的需求是不明確的,業(yè)務(wù)人員是先要看到數(shù)據(jù)再去構(gòu)建探索真實需求,所以數(shù)據(jù)倉庫是不斷的迭代構(gòu)建。采用3RD模型來構(gòu)建一個企業(yè)級的業(yè)務(wù)模型,確保數(shù)據(jù)的完整性與一致性。

Ralph Kimball -需求視角,以業(yè)務(wù)需求驅(qū)動,面向分析。事實要構(gòu)建在最細的粒度上,不同的業(yè)務(wù)需求之間靠一致性維度來確保數(shù)據(jù)的一致性。

  • DW/BI架構(gòu)

  • 輻射狀企業(yè)信息工廠(CIF)

  • 混合輻射狀企業(yè)信息工廠與KimBall架構(gòu)

從上面幾張圖上我們可以看到,之所以在Kimball的書中會有與Inmon組合的混合架構(gòu),是因為這幾張架構(gòu)圖中的層次基本是一致的。而Kimball架構(gòu)中并未去描述如何去做數(shù)據(jù)的規(guī)范化、完整性、一致性,只是要去做,而Inmon的架構(gòu)中恰好可以實現(xiàn)這個部分。對于后面數(shù)據(jù)展現(xiàn)區(qū)的數(shù)據(jù)模型,又都一致的認為是以維度模型來建模。

從實際構(gòu)建方式上來看,Bill Inmon架構(gòu)強調(diào)數(shù)據(jù)倉庫應該是統(tǒng)一構(gòu)建,業(yè)務(wù)模型是企業(yè)級的。這個出發(fā)點是更具有宏觀意義,假設(shè)企業(yè)有30個交易系統(tǒng),建設(shè)的時候就需要都納入需求分析范圍,然后按需分階段完成企業(yè)級的數(shù)據(jù)倉庫模型。Ralph Kimball架構(gòu)強調(diào)以業(yè)務(wù)需求為導向,構(gòu)建維度模型,后續(xù)的需求只要確保整個企業(yè)范圍內(nèi)一致性維度,就可以構(gòu)建更加高效的數(shù)據(jù)倉庫。Ralph Kimball認為Bill Inmon的架構(gòu)太過于龐大,可能會讓企業(yè)投入巨大但是看不到回報。而Bill Inmon則認為維度模型構(gòu)建的數(shù)據(jù)倉庫,很容易變成松散的多個不一致的數(shù)據(jù)集市。雖然Ralph Kimball也強調(diào)獨立集市架構(gòu)是不可取的。

其實綜合實踐與現(xiàn)實中數(shù)據(jù)倉庫的案例來看,在以Teradata\IBM\Oracle等公司構(gòu)建的企業(yè)級的數(shù)據(jù)倉庫架構(gòu),全部都是以Bill Inmon的架構(gòu)來構(gòu)建了一個3RD的企業(yè)級的數(shù)據(jù)倉庫模型,并且在一些規(guī)模宏大的銀行、保險、電信等行業(yè)取得了比較巨大的成功。尤其是國內(nèi)Teradata的金融模型,幾乎占據(jù)了國內(nèi)全部的大銀行、保險機構(gòu)的市場。而Ralph Kimball的架構(gòu),在銀行、電信、零售電商等行業(yè)也是受到了廣泛的好評。

這兩種架構(gòu)各有千秋,各有側(cè)重。并且從兩位先賢相互指責的問題來看,問題都是真實存在的。Ralph Kimball架構(gòu)雖然強調(diào)不能建設(shè)成獨立集市架構(gòu),要采用全局一致性維度,但是,業(yè)務(wù)部門分頭建設(shè)且以需求為導向的結(jié)構(gòu),很容易失控就走成獨立集市架構(gòu)。Bill Inmon的架構(gòu)因為有一層數(shù)據(jù)倉庫層,從機能上就會去協(xié)調(diào),避免這種情況的產(chǎn)生。但是Bill Inmon的架構(gòu),因為構(gòu)建投入巨大,也只是在金融業(yè)獲得了巨大的成功。在一些業(yè)務(wù)相對簡單規(guī)模不大的客戶場景中,因為交易型系統(tǒng)本身就是3RD模型,所以,本身并沒有需求再去構(gòu)建一個數(shù)據(jù)倉庫的3RD模型,ODS系統(tǒng)就基本替代的這一層。

在數(shù)據(jù)集市、數(shù)據(jù)應用的分析型場景中,Ralph KimballBill Inmon都應該使用維度模型來構(gòu)建。

1.3. 綜合的選擇

從Bill Inmon與Ralph Kimball的書中,我們可以看到兩位先賢的觀點。個人認為在不同的場景可以有不同的選擇,在業(yè)務(wù)復雜、業(yè)務(wù)變化不頻繁、數(shù)據(jù)倉庫上游的交易型系統(tǒng)特別多、能接受足夠長時間大投入的企業(yè)級數(shù)倉建設(shè)的場景,Inmon的架構(gòu)(或者說是CIF與DW/BI混合架構(gòu))顯然是更好的選擇,這種架構(gòu)更加宏觀,且具有企業(yè)級視角,只有在這種視角下才能實現(xiàn)數(shù)據(jù)中臺的設(shè)計目標。而在業(yè)務(wù)模型簡單、業(yè)務(wù)變化頻繁、難以接受企業(yè)級架構(gòu)構(gòu)建的時間成本的場景,最好使用DW/BI架構(gòu)。

如果可以放眼眼前的數(shù)據(jù)倉庫的案例,就會發(fā)現(xiàn)這是一種比較現(xiàn)實的選擇。

責任編輯:張燕妮 來源: 阿里云云棲號
相關(guān)推薦

2011-07-15 10:28:18

OLTP數(shù)據(jù)倉庫

2009-05-04 13:19:27

2009-02-06 09:56:56

軟件測試數(shù)據(jù)倉庫測試開發(fā)與執(zhí)行

2009-07-10 09:31:57

MyEclipse U

2017-01-22 15:43:47

數(shù)據(jù)架構(gòu)演進

2011-05-13 14:17:27

智能數(shù)據(jù)倉庫

2023-08-31 17:10:56

數(shù)據(jù)倉庫高級互聯(lián)網(wǎng)架構(gòu)架構(gòu)

2022-08-01 11:30:27

數(shù)據(jù)建模

2021-01-04 05:51:02

數(shù)據(jù)倉庫架構(gòu)

2016-02-18 10:09:23

12306核心思路架構(gòu)

2023-12-01 14:55:32

數(shù)據(jù)網(wǎng)格數(shù)據(jù)湖

2009-04-21 11:11:18

構(gòu)架設(shè)計開發(fā)

2021-09-01 10:03:44

數(shù)據(jù)倉庫云數(shù)據(jù)倉庫數(shù)據(jù)庫

2021-03-31 10:16:00

架構(gòu)運維技術(shù)

2016-06-28 13:09:48

UCloud數(shù)據(jù)倉庫架構(gòu)解析

2023-03-09 07:29:28

微信朋友圈架構(gòu)

2017-10-20 12:59:05

數(shù)據(jù)分層數(shù)據(jù)建設(shè)數(shù)據(jù)倉庫

2022-06-30 18:17:00

數(shù)據(jù)集云數(shù)據(jù)建模計數(shù)據(jù)倉庫

2023-09-05 16:30:53

數(shù)據(jù)倉庫數(shù)據(jù)分析

2018-08-13 09:09:35

Nginx服務(wù)器內(nèi)部
點贊
收藏

51CTO技術(shù)棧公眾號

欧美性大战久久久久xxx| 久久久久久艹| 99免在线观看免费视频高清| 蜜桃在线一区二区三区| 久久男人av资源网站| 2021国产精品久久精品| 欧美中文字幕在线观看| av剧情在线观看| 午夜视频在线观看一区二区三区| 天天爱天天做天天操| 国产一二区在线| 中文字幕一区二区在线观看| 最新视频 - x88av| 亚洲一区二区动漫| 成人午夜黄色影院| 国产色视频网站| 草久在线视频| 偷拍精品精品一区二区三区| 色94色欧美sute亚洲线路一久| 成人亚洲视频在线观看| 久久精品国产亚洲高清剧情介绍| 国产精品国产三级欧美二区| 精品不卡一区| 国内精品美女av在线播放| 亚洲精品一区| 亚洲成人久久久| 日本韩国在线视频爽| 福利视频一区二区| av三级在线播放| 亚洲免费在线视频| 无需播放器的av| 99久久精品费精品国产一区二区| 亚洲精品一区二区三区樱花| 国产精品女主播一区二区三区| 成人亚洲欧美一区二区三区| 成人精品动漫一区二区三区| 久久综合丝袜日本网| 欧美亚洲视频一区| 久久亚洲欧洲| 99久久久国产| 久久97超碰色| 牛人盗摄一区二区三区视频| 欧美精品日本| 中文字幕免费观看一区| 亚洲影院久久精品| 成人网免费视频| 国产精品麻豆网站| 免费看污污网站| 成人欧美一区二区三区在线播放| 555www成人网| 老司机在线精品视频| 欧美精品做受xxx性少妇| 白嫩亚洲一区二区三区| 亚洲高清免费一级二级三级| 久久久久久久久久久亚洲| 久久久精品亚洲| 欧美va在线观看| 亚洲欧美日韩一区| 97国产视频| 夜夜嗨av一区二区三区四季av| 亚洲精品666| 在线看片日韩| 国产精品99久久久久久久 | 亚洲精品无码久久久久久| www激情久久| 91国产在线精品| 国产精品x8x8一区二区| 91精品国产高清久久久久久| 不卡av一区二区| 操一操视频一区| 国产一区精品二区| 久久久久女教师免费一区| 精品一区免费| 黄视频在线播放| 黑人与娇小精品av专区| аⅴ资源新版在线天堂| 久久se这里有精品| 国产亚洲xxx| 欧美日韩导航| 538prom精品视频线放| 伊人在我在线看导航| 久久夜色精品国产噜噜av| 免费羞羞视频| 欧美老肥妇做.爰bbww| 成人国产激情| 欧美剧情片在线观看| japanese23hdxxxx日韩| 国产91热爆ts人妖在线| 欧美成人一二区| 日本精品在线视频| 香蕉久久国产| 亚洲在线视频观看| 久久不射中文字幕| 国产精品一区二区羞羞答答| 在线电影欧美成精品| www.神马久久| 久久久精品国产一区二区三区| 久久精品欧美日韩| 在线视频中文字幕第一页| 午夜精品久久久99热福利| 久久亚洲精选| 最新四虎影在线在永久观看www| 亚洲欧美日韩视频一区| 激情在线小视频| 另类美女黄大片| 99在线|亚洲一区二区| 精品久久久久久中文字幕2017| 91精品久久久久久久久99蜜臂| 成人三级毛片| 日日噜噜夜夜狠狠久久丁香五月| 色综合一个色综合| 二区中文字幕| 精品香蕉在线观看视频一| 午夜羞羞小视频在线观看| 久久久久久久久久av| 青青草精品视频| 香蕉视频在线网址| 午夜av一区二区三区| 国产高清亚洲| 伊人久久大香线蕉午夜av| 欧美视频免费在线| 成人精品动漫一区二区三区| 成人免费看片'免费看| 在线免费观看不卡av| a级日韩大片| 人人妻人人澡人人爽欧美一区双| 欧美性受极品xxxx喷水| 国产一区二区观看| 色综合手机在线| 在线播放精品一区二区三区| 国产精品久久777777毛茸茸 | 午夜日韩影院| 中文字幕日韩精品久久| 在线免费观看日本欧美| 久操成人av| 日韩av卡一卡二| 色偷偷av亚洲男人的天堂| 菠萝菠萝蜜在线视频免费观看| 欧美日韩一卡二卡| 亚洲免费毛片| 免费观看成人在线视频| 亚洲新声在线观看| 久久99国产精品麻豆| 18网站在线观看| 国产欧美综合精品一区二区| 午夜宅男久久久| 日韩欧美在线番号| 欧美日韩的一区二区| 亚洲国产精品精华素| 亚洲在线一区二区| 午夜电影网一区| 91麻豆精品国产91久久久平台 | 国产视频一视频二| 精品丝袜一区二区三区| 蜜臀精品一区二区三区在线观看| 好吊日视频在线观看| 欧美连裤袜在线视频| 黄一区二区三区| av中文字幕在线观看| 精品欧美日韩| 欧洲中文字幕精品| 激情偷拍久久| 欧美日韩欧美| 欧美日韩亚洲一区二区三区在线观看 | 日韩成人高清在线| 日韩毛片免费看| 青青青青草视频| 久久精品99久久久香蕉| 欧美国产综合一区二区| 午夜视频一区二区在线观看| 久久久久欧美| 337p日本欧洲亚洲大胆精品| 韩国精品久久久| 国产极品久久久久久久久波多结野| www.夜夜爱| 欧美激情小视频| 亚洲精品国产一区二区精华液| 日韩国产欧美| 成年人免费在线视频| 日韩精品一区二区三区丰满| 国产亚洲精品一区二555| 99在线精品一区二区三区| 国产极品模特精品一二| 国产午夜一区二区三区| 欧美一区 二区| 五月天天在线| 精品亚洲夜色av98在线观看| 国产黄色精品网站| 鲁大师精品99久久久| 国产视频网址在线| 国产91porn| 日本久久亚洲电影| 欧美日韩国产一二三| 久久www免费人成看片高清| 九九久久国产| 在线免费观看黄色片| 久久亚洲精品网站| 亚洲人成小说网站色在线| 99riav1国产精品视频| 欧美一区=区三区|