數(shù)據(jù)倉庫有哪五層架構(gòu)？

       數(shù)據(jù)倉庫，英文名為DataWarehouse，可以簡稱為DW或DWH。數(shù)據(jù)倉庫，是為企業(yè)各級決策制定過程，提供各種類型的資料支持的戰(zhàn)略集合。這是為了分析報(bào)告和決策支持而創(chuàng)建的單一數(shù)據(jù)存儲。為需要業(yè)務(wù)智能的企業(yè)提供改進(jìn)、監(jiān)控時(shí)間、成本、質(zhì)量和控制的指導(dǎo)。了解了數(shù)據(jù)倉庫的定義之后，小編和大家一起看看數(shù)據(jù)倉庫有哪五層架構(gòu)，希望對你有所幫助。

騰訊云

0

1條點(diǎn)評

咨詢產(chǎn)品

免費(fèi)試用

解決用戶選型困難的好軟件，有各維度的信息

客戶案例

暫無

合作品牌

12

數(shù)據(jù)倉庫有哪五層架構(gòu)

1. ODS 數(shù)據(jù)準(zhǔn)備層

功能：ODS層是數(shù)據(jù)倉庫準(zhǔn)備區(qū)，為DWD層提供基礎(chǔ)原始數(shù)據(jù)，可減少對業(yè)務(wù)系統(tǒng)的影響

建模方式及原則：從業(yè)務(wù)系統(tǒng)增量抽取、保留時(shí)間由業(yè)務(wù)需求決定、可分表進(jìn)行周期存儲、數(shù)據(jù)不做清洗轉(zhuǎn)換與業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型保持一致、按主題邏輯劃分

2. DWD 數(shù)據(jù)明細(xì)層

功能：為DW層提供來源明細(xì)數(shù)據(jù)，提供業(yè)務(wù)系統(tǒng)細(xì)節(jié)數(shù)據(jù)的長期沉淀，為未來分析類需求的擴(kuò)展提供歷史數(shù)據(jù)支撐

建模方式及原則：數(shù)據(jù)模型與ODS層一致，不做清晰轉(zhuǎn)換處理、為支持?jǐn)?shù)據(jù)重跑可額外增加數(shù)據(jù)業(yè)務(wù)日期字段、可按年月日進(jìn)行分表、用增量ODS層數(shù)據(jù)和前一天DWD相關(guān)表進(jìn)行merge處理

3. DW(B/S) 數(shù)據(jù)匯總層

功能：

為DW、ST層提供細(xì)粒度數(shù)據(jù)，細(xì)化成DWB合DWS；

DWB是根據(jù)DWD明細(xì)數(shù)據(jù)經(jīng)行清晰轉(zhuǎn)換，如維度轉(zhuǎn)代理鍵、身份證清洗、會員注冊來源清晰、字段合并、空值處理、臟數(shù)據(jù)處理、IP清晰轉(zhuǎn)換、賬號余額清洗、資金來源清洗等；

DWS是根據(jù)DWB層數(shù)據(jù)按各個(gè)維度ID進(jìn)行粗粒度匯總聚合，如按交易來源，交易類型進(jìn)行匯合

建模方式及原則：

聚合、匯總增加派生事實(shí)；

關(guān)聯(lián)其它主題的事實(shí)表，DW層可能會跨主題域；

DWB保持低粒度匯總加工數(shù)據(jù)，DWS保持高粒度匯總數(shù)據(jù)；

數(shù)據(jù)模型可能采用反范式設(shè)計(jì)，合并信息等。

4. DM 數(shù)據(jù)集市層

功能：

可以是一些寬表，是根據(jù)DW層數(shù)據(jù)按照各種維度或多種維度組合把需要查詢的一些事實(shí)字段進(jìn)行匯總統(tǒng)計(jì)并作為單獨(dú)的列進(jìn)行存儲；

滿足一些特定查詢、數(shù)據(jù)挖掘應(yīng)用；

應(yīng)用集市數(shù)據(jù)存儲

建模方式及原則：

盡量減少數(shù)據(jù)訪問時(shí)計(jì)算，優(yōu)化檢索；

維度建模，星型模型；

事實(shí)拉寬，度量預(yù)先計(jì)算；

分表存儲

5. ST 數(shù)據(jù)應(yīng)用層

功能：

ST層面向用戶應(yīng)用和分析需求，包括前端報(bào)表、分析圖表、KPI、儀表盤、OLAP、專題等分析，面向最終結(jié)果用戶；

適合作OLAP、報(bào)表模型，如ROLAP,MOLAP；

根據(jù)DW層經(jīng)過聚合匯總統(tǒng)計(jì)后的粗粒度事實(shí)表

建模方式及原則：

保持?jǐn)?shù)據(jù)量小；

維度建模，星形模型；

各位維度代理鍵+度量；

增加數(shù)據(jù)業(yè)務(wù)日期字段，支持?jǐn)?shù)據(jù)重跑；

不分表存儲

        其實(shí)，數(shù)據(jù)倉庫本身既不生產(chǎn)數(shù)據(jù)也不消費(fèi)數(shù)據(jù)，只是作為中間平臺集成存儲數(shù)據(jù)；數(shù)據(jù)倉庫實(shí)現(xiàn)的難度在于整體結(jié)構(gòu)的構(gòu)建和ETL的設(shè)計(jì)，這也是日常管理和維護(hù)的重點(diǎn)；數(shù)據(jù)倉庫的真正價(jià)值體現(xiàn)在它的數(shù)據(jù)應(yīng)用上，沒有有效的數(shù)據(jù)應(yīng)用就失去了建立數(shù)據(jù)倉庫的意義。以上就是數(shù)據(jù)倉庫有哪五層架構(gòu)的全部內(nèi)容，希望對你有所幫助。