聊聊 BI 的黑武器 —— 分倉(cāng)分庫(kù)、前置倉(cāng)，大型集團(tuán) BI 數(shù)據(jù)架構(gòu)規(guī)劃思路

大年三十除夕的清晨，迎接新年的最后一篇文章來(lái)講講大家平時(shí)可能很少接觸到的一類(lèi)數(shù)據(jù)架構(gòu)。

因?yàn)檫@種架構(gòu)少有產(chǎn)品化的落地使用，市面上也沒(méi)有很好的參照。而我們?cè)趦赡昵白鑫覀冏约?BI 產(chǎn)品的時(shí)候就已經(jīng)把這個(gè)概念給產(chǎn)品化了，所以我們把這種架構(gòu)就取了一個(gè)名字叫做 BI 的分倉(cāng)分庫(kù)、前置倉(cāng)。

講這個(gè)架構(gòu)之前，我先來(lái)講講幾個(gè)失敗的案例。具體案例名稱(chēng)就不在這里提了，就說(shuō)下這幾個(gè)項(xiàng)目比較共性的需求背景。

共性的需求和場(chǎng)景

十四五規(guī)劃，數(shù)字化轉(zhuǎn)型大背景下，一個(gè)集團(tuán)七八十家公司二級(jí)單位，二級(jí)以下還有三級(jí)、四級(jí)。集團(tuán)要求做所謂的數(shù)據(jù)中臺(tái)、大數(shù)據(jù) BI，總之最后的要求大概就是做到：拉通數(shù)據(jù)、一企一屏、集團(tuán)財(cái)務(wù)業(yè)務(wù)一體化的可視化分析，實(shí)現(xiàn)資產(chǎn)監(jiān)管等等。

聽(tīng)上去是不是感覺(jué)很熟悉，就像身邊的企業(yè)集團(tuán)一樣？非常正常，太多類(lèi)似于這樣的需求了。我面對(duì)面聊過(guò)的這類(lèi)需求已經(jīng)不下十家，聽(tīng)到的就更多。

這些案例大概是什么需求背景呢 ？首先要做的就是財(cái)務(wù)監(jiān)管方面的各個(gè)系統(tǒng)打通。以往是通過(guò)數(shù)據(jù)報(bào)送看看基本的報(bào)表就可以了，現(xiàn)在要求所有二級(jí)財(cái)務(wù)系統(tǒng)要對(duì)接到集團(tuán)層面，能夠看到更詳細(xì)的、深入的數(shù)據(jù)分析，這個(gè)是一期的規(guī)劃。二期就是從業(yè)務(wù)線、業(yè)務(wù)板塊按照同樣的方式，所有的業(yè)務(wù)數(shù)據(jù)都上來(lái)，逐步實(shí)現(xiàn)一企一屏、集團(tuán)管控、集團(tuán)大屏等等，實(shí)現(xiàn)集團(tuán)視角、業(yè)務(wù)板塊視角、企業(yè)視角等可視化分析。

最終的輸出大家注意到了嗎，都是什么? 都是 BI 可視化分析、大屏可視化，所以 BI 在這些項(xiàng)目里面是一個(gè)剛需。難的地方在哪里？在底層數(shù)據(jù)上，不僅僅是數(shù)據(jù)清洗、治理，更重要的是數(shù)據(jù)架構(gòu)到底應(yīng)該怎么來(lái)構(gòu)建才更加高效。

第一家是怎么做的呢？底層上了一個(gè)大數(shù)據(jù)架構(gòu)平臺(tái)，對(duì)外叫數(shù)據(jù)中臺(tái)，把所有的二級(jí)企業(yè)集團(tuán)的數(shù)據(jù)全部同步到集團(tuán)的云端，然后在云端做數(shù)據(jù)的清洗、合并等等一系列 ETL 加工處理，最后通過(guò) BI 工具做可視化分析。這個(gè)實(shí)現(xiàn)思路是對(duì)的，難就難在只考慮到了數(shù)據(jù)搬過(guò)來(lái)上云，忽略掉了數(shù)據(jù)處理的復(fù)雜度。上百家企業(yè)的數(shù)據(jù)如何合并，如何抽象出共性指標(biāo)，如何打通這些數(shù)據(jù)。這個(gè)項(xiàng)目最終也沒(méi)有跑起來(lái)，死在抽取之后數(shù)據(jù)加工到出 BI 這個(gè)層面，一家企業(yè)數(shù)據(jù)出問(wèn)題，最后的大數(shù)就是有問(wèn)題，死活不知道問(wèn)題出現(xiàn)在哪里。

直接把所有數(shù)據(jù)拿過(guò)來(lái)放到一個(gè)平臺(tái)，在一個(gè)大平臺(tái)里面做清洗處理，組織架構(gòu)、維度科目檔案統(tǒng)一如何做，指標(biāo)口徑如何統(tǒng)一？一個(gè)點(diǎn)出問(wèn)題處處都是問(wèn)題。

這個(gè)是思路對(duì)了，實(shí)現(xiàn)難度大，沒(méi)有考慮到這種復(fù)雜性，沒(méi)有針對(duì)性的找到復(fù)雜場(chǎng)景下的解決措施。

而下面這個(gè)是思路就不對(duì)，錯(cuò)得離譜。

第二家的做法是直接在業(yè)務(wù)系統(tǒng)中對(duì)接各個(gè)集團(tuán)財(cái)務(wù)系統(tǒng)的數(shù)據(jù)，然后在這個(gè)業(yè)務(wù)系統(tǒng)中做合并，最后作為大的數(shù)據(jù)出口、數(shù)據(jù)源為未來(lái)集團(tuán) BI 所使用。這種架構(gòu)就是從方向、從根上完全錯(cuò)了，心思就不正。說(shuō)嚴(yán)重一點(diǎn)，就是很壞。這樣一做，基本上就把甲方給完全綁定了，以后說(shuō)是什么就是什么。即使財(cái)務(wù)數(shù)據(jù)相對(duì)標(biāo)準(zhǔn)，集中到一個(gè)業(yè)務(wù)平臺(tái)上，其他的業(yè)務(wù)數(shù)據(jù)以后要分析怎么辦？

其他看到的幾家項(xiàng)目做法介入這兩者之間，處理方式和手段基本上就這些。

面臨的挑戰(zhàn)

這幾家面對(duì)同樣的問(wèn)題主要是：

第一，各個(gè)二級(jí)企業(yè)（集團(tuán)) 所用的財(cái)務(wù)系統(tǒng)各不相同，有用友NC、用友U8、金蝶 EAS、浪潮、還有用友 T 系列的。很多人問(wèn)為什么當(dāng)初集團(tuán)不統(tǒng)一這些系統(tǒng)，大家需要知道一個(gè)大型集團(tuán)的成長(zhǎng)都是靠兼并、收購(gòu)、重組不斷的進(jìn)化的，IT 信息化不統(tǒng)一非常的正常，IT 信息化建設(shè)很難提前規(guī)劃和預(yù)判。

第二，各個(gè)企業(yè)由于自身的業(yè)務(wù)特點(diǎn)，各個(gè)業(yè)務(wù)系統(tǒng)也不一樣，非統(tǒng)建類(lèi)的系統(tǒng)居多。

第三，即使是同業(yè)務(wù)板塊的下屬二級(jí)企業(yè)，有的企業(yè)有相應(yīng)的業(yè)務(wù)系統(tǒng)，有的企業(yè)就沒(méi)有相關(guān)的業(yè)務(wù)系統(tǒng)支撐。

這里面的共性挑戰(zhàn)是什么？

第一，不同的系統(tǒng)由不同的供應(yīng)商維護(hù)，底層數(shù)據(jù)字典、數(shù)據(jù)質(zhì)量的問(wèn)題，這么多業(yè)務(wù)系統(tǒng)要取數(shù)，有的還做過(guò)二開(kāi)，數(shù)據(jù)怎么取的問(wèn)題，誰(shuí)來(lái)配合解讀數(shù)據(jù)。

第二，集團(tuán)到底要看什么數(shù)據(jù)？知道這些數(shù)據(jù)從哪里取嗎？什么時(shí)候取哪些數(shù)據(jù)？七八十家企業(yè)，幾百個(gè)系統(tǒng)，等你整合完，報(bào)表什么時(shí)候才能出來(lái)？

第一家的實(shí)現(xiàn)思路沒(méi)有太大的問(wèn)題，但是第二家的實(shí)現(xiàn)思路實(shí)在是不可救藥 —— 讓各家業(yè)務(wù)系統(tǒng)供應(yīng)商提供標(biāo)準(zhǔn) API 接口，從各個(gè)業(yè)務(wù)系統(tǒng) API 接口取數(shù)全部集中到自身的業(yè)務(wù)平臺(tái)中。這里面涉及到多少家供應(yīng)商資源的協(xié)調(diào)，需要多少的二次 API 開(kāi)發(fā)工作投入。并且最嚴(yán)重的一個(gè)問(wèn)題是，業(yè)務(wù)系統(tǒng)不是數(shù)據(jù)系統(tǒng)、BI 系統(tǒng)，業(yè)務(wù)系統(tǒng)彼此之間應(yīng)該是完全獨(dú)立的，只有數(shù)據(jù)系統(tǒng)、BI 系統(tǒng)才能完全基于所有業(yè)務(wù)系統(tǒng)之上，形成各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的打通、建模再到支撐 BI 前端可視化。

所以，這家架構(gòu)從根上就錯(cuò)了，項(xiàng)目已經(jīng)啟動(dòng)半年一直無(wú)法推進(jìn)，我上會(huì)溝通了一下發(fā)現(xiàn)已經(jīng)無(wú)法扭轉(zhuǎn)了，救都救不回來(lái)。

集團(tuán)型 BI 的數(shù)據(jù)架構(gòu)實(shí)現(xiàn)思路

像這類(lèi)項(xiàng)目實(shí)現(xiàn)思路到底是什么？有沒(méi)有一些優(yōu)化的方案或者架構(gòu)可以供參考借鑒的，這就是我下面接著要說(shuō)的幾個(gè)點(diǎn)：

第一，不管是什么樣的財(cái)務(wù)監(jiān)管、一企一屏、集團(tuán) BI 可視化，最終大家都需要注意到，BI 都是最終的出口，這個(gè)是最終使用用戶(hù)唯一能看懂的東西。

第二，一定不會(huì)先上來(lái)把上百家二級(jí)企業(yè)的業(yè)務(wù)系統(tǒng)數(shù)據(jù)先打通一遍，做整體的數(shù)據(jù)建模，一定不能這么干。

有的人說(shuō)我們集團(tuán)要求業(yè)務(wù)上云、數(shù)據(jù)上云，所以數(shù)據(jù)全部要搬過(guò)來(lái)。注意，搬過(guò)來(lái)和打通是兩回事，搬過(guò)來(lái)只是數(shù)據(jù)到集團(tuán)的云端了，打通是真正意義上數(shù)據(jù)的打通、清洗、匯總、合并等一系列的處理。這種打通，不要說(shuō)上百個(gè)系統(tǒng)，就一兩個(gè)系統(tǒng)的完整打通，按照 BI 建模的方式走一遍基本上就是幾個(gè)月甚至小半年時(shí)間。

第三，一定從需求出發(fā)，先梳理分析指標(biāo)，需要什么指標(biāo)就看什么指標(biāo)。不管是財(cái)務(wù)的，還是業(yè)務(wù)的，確認(rèn)多少，再抽取多少，這樣可以不用在最初的時(shí)候把面鋪的過(guò)大。舉個(gè)例子，全部系統(tǒng)打通可能涉及到上百個(gè)系統(tǒng)，這個(gè)工作量太大。

但是這次梳理出來(lái)的一部分指標(biāo)，可能只涉及到幾個(gè)系統(tǒng)的打通，階段性的工作量一下子就降下來(lái)了，難度也就下來(lái)了。

把這三個(gè)點(diǎn)弄明白，我再來(lái)講講下面的這種架構(gòu)就容易很多了。

第一，明確集團(tuán)層面需要看什么數(shù)據(jù)，看什么數(shù)據(jù)就抽取什么數(shù)據(jù)。這種要看的數(shù)據(jù)從 BI 的視角來(lái)說(shuō)，就是指標(biāo)和維度，所謂的明細(xì)數(shù)據(jù)就是維度的顆粒度，維度顆粒度越細(xì)，數(shù)據(jù)明細(xì)就越細(xì)致，定好了就可以了。

第二，既然是集團(tuán)層面的統(tǒng)一視角，所以這種數(shù)據(jù)的模板或者格式就是高度統(tǒng)一的，適用于所有的企業(yè)。

因此在某一個(gè)階段，二級(jí)企業(yè)數(shù)據(jù)到達(dá)集團(tuán)大數(shù)據(jù)倉(cāng)庫(kù)中心之前，因?yàn)橐呀?jīng)知道了需要獲取什么樣的數(shù)據(jù)，所以在二級(jí)企業(yè)設(shè)置前置數(shù)據(jù)倉(cāng)庫(kù)。按照規(guī)定的數(shù)據(jù)格式、模板同步到二級(jí)企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)中，二級(jí)企業(yè)的數(shù)據(jù)清洗過(guò)程不是放到集團(tuán)數(shù)據(jù)倉(cāng)庫(kù)層面，而是在二級(jí)企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)中完成。

這個(gè)就是 BI 數(shù)據(jù)倉(cāng)庫(kù)的分倉(cāng)分庫(kù)，前置數(shù)據(jù)倉(cāng)庫(kù)的概念。

這個(gè)前置數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器可以放到二級(jí)企業(yè)本地，也可以放到集團(tuán)統(tǒng)一管理。位置在哪里并不重要，重要的是要降低數(shù)據(jù)邏輯處理的并發(fā)復(fù)雜度。

什么叫并發(fā)復(fù)雜度？比如我有一個(gè)大屋子，大屋子里有十個(gè)房間，每個(gè)房間放了好多雜亂無(wú)章的東西，現(xiàn)在要把東西給清理出來(lái)拉到大屋子的大廳擺放整齊。

兩種處理方式，看看哪種更好：

第一種，直接把每個(gè)房間的東西全部拉到大廳里面，然后再分門(mén)別類(lèi)的整理。

第二種，在每個(gè)房間整理好，然后再拉出來(lái)放到大廳擺放。

大廳就是集團(tuán)的數(shù)據(jù)倉(cāng)庫(kù)，在房間整理好就是前置數(shù)據(jù)倉(cāng)庫(kù)，明顯這種方式更優(yōu)。全部拉到大廳再來(lái)整理，容易手忙腳亂，互相打擾，一個(gè)錯(cuò)誤全部就亂。

就如同上面的這幅圖，各二級(jí)企業(yè)的數(shù)據(jù)就像各個(gè)農(nóng)地里面的菜一樣，就地分倉(cāng)處理，處理干凈了再合并到總倉(cāng)中，這種效率非常高。

比如一家集團(tuán)上百家二級(jí)使用的財(cái)務(wù)系統(tǒng)各不相同，沒(méi)有分倉(cāng)分庫(kù)的話(huà)就需要一家一家的進(jìn)行數(shù)據(jù)對(duì)接。有數(shù)據(jù)倉(cāng)庫(kù)模板的話(huà)就相當(dāng)于各個(gè)版本的財(cái)務(wù)系統(tǒng)只需要對(duì)接一次，剩余的直接按照模板復(fù)制到各地?cái)?shù)據(jù)倉(cāng)庫(kù)就可以了，七個(gè)財(cái)務(wù)系統(tǒng)版本就對(duì)接七次就可以做到。

數(shù)據(jù)倉(cāng)庫(kù)的模板是什么？分析模型、維度、指標(biāo)、以及維度指標(biāo)的取數(shù)邏輯，這些都可以有效的組織和統(tǒng)一模板，高度復(fù)用。

上面的這些架構(gòu)，我們很早就已經(jīng)落地了，并且是以產(chǎn)品化數(shù)據(jù)倉(cāng)庫(kù)的形式落地。

場(chǎng)景越復(fù)雜、分倉(cāng)分庫(kù)、前置倉(cāng)架構(gòu)的優(yōu)勢(shì)越大

這種架構(gòu)使用的場(chǎng)景非常的多，集團(tuán)越大越適合，業(yè)務(wù)系統(tǒng)版本越多越適合，足夠大，高度可復(fù)用的效率優(yōu)勢(shì)體現(xiàn)的會(huì)更加明顯。

這種架構(gòu)具備很強(qiáng)的擴(kuò)展性和想象力，比如像國(guó)資委的國(guó)資監(jiān)管、大型集團(tuán)的多級(jí) BI 架構(gòu)、甚至只要有這種帶有上下級(jí)數(shù)據(jù)傳遞整合打通，不管多少級(jí)都可以按照這種架構(gòu)思想來(lái)實(shí)現(xiàn)，可以把每個(gè)分倉(cāng)無(wú)限往下擴(kuò)展成不同的小倉(cāng)庫(kù)，從小倉(cāng)到大倉(cāng)，從大倉(cāng)到總倉(cāng)。

數(shù)據(jù)架構(gòu)這些東西沒(méi)有什么可神秘的，就像一層窗戶(hù)紙，一捅就破，關(guān)鍵是在不同的項(xiàng)目中要靈活運(yùn)用。

本文經(jīng)授權(quán)轉(zhuǎn)載自微信公眾號(hào) 呂品聊數(shù)據(jù)  作者 呂品