如何高效智能識別主數(shù)據(jù)，這個方案兩步就能輕松搞定！

美林?jǐn)?shù)據(jù)技術(shù)股份有限公司

+ 關(guān)注

2023-06-28 13:58

1255次閱讀

什么是主數(shù)據(jù)？
主數(shù)據(jù)(Master Data)是指滿足跨部門業(yè)務(wù)協(xié)同需要的、反映核心業(yè)務(wù)實(shí)體狀態(tài)屬性的企業(yè)（組織機(jī)構(gòu)）基礎(chǔ)信息。主數(shù)據(jù)有兩個價值，價值一是建立企業(yè)基礎(chǔ)數(shù)據(jù)共享“語言”，打破各系統(tǒng)信息交互壁壘，使數(shù)據(jù)能夠在多個系統(tǒng)內(nèi)充分共享、高度復(fù)用；價值二是通過制定主數(shù)據(jù)標(biāo)準(zhǔn)，為業(yè)務(wù)報表編制、數(shù)據(jù)統(tǒng)計分析提供基礎(chǔ)條件；通過主數(shù)據(jù)建設(shè)，能為企業(yè)在數(shù)據(jù)應(yīng)用與管理奠定基礎(chǔ)。

主數(shù)據(jù)是數(shù)據(jù)之源，也被稱為企業(yè)的“黃金數(shù)據(jù)”，是數(shù)據(jù)資產(chǎn)管理的核心、信息系統(tǒng)互聯(lián)互通的基石、更是信息化和數(shù)字化的重要基礎(chǔ)。主數(shù)據(jù)管理重要性體現(xiàn)在它可以消除數(shù)據(jù)冗余、提升數(shù)據(jù)處理效率、提高公司戰(zhàn)略協(xié)同力。通過構(gòu)建準(zhǔn)確、唯一、權(quán)威的數(shù)據(jù)來源，建立企業(yè)主數(shù)據(jù)標(biāo)準(zhǔn)管理體系，是提高企事業(yè)單位數(shù)據(jù)質(zhì)量和數(shù)據(jù)資產(chǎn)價值的關(guān)鍵因素。
而主數(shù)據(jù)管理的第一步，就是對主數(shù)據(jù)進(jìn)行識別。一般來說，主數(shù)據(jù)具有高價值性、實(shí)體獨(dú)立性、相對穩(wěn)定性、高共享性、識別唯一性、長期有效性的特征，常見識別方法是深入調(diào)研企業(yè)的業(yè)務(wù)狀況和信息現(xiàn)狀，但這類方法帶來的問題也顯而易見：
?門檻高：依賴咨詢顧問和外部專家；
?見效慢：時間周期長，至少一個月起步；
?成本高：需要咨詢顧問、業(yè)務(wù)人員、IT人員共同完成人工咨詢；
?滯后性：業(yè)務(wù)出現(xiàn)問題后才會被識別出來。
面對這些挑戰(zhàn)，企業(yè)該如何破局？

解決思路
明確了問題，就可以制定針對性的解決思路，想要高效識別出主數(shù)據(jù)，所采用的方案需要具備以下幾個要求：
?要大幅度縮短項(xiàng)目實(shí)施周期和成本；
?要能通過技術(shù)或者工具的支持，快速識別企業(yè)各業(yè)務(wù)系統(tǒng)中主數(shù)據(jù)分布的現(xiàn)狀；
?要能夠?yàn)槠髽I(yè)業(yè)務(wù)和信息現(xiàn)狀調(diào)研提供方向，實(shí)現(xiàn)看得見的價值。
想要實(shí)現(xiàn)這些要求其實(shí)也不難，通過構(gòu)建機(jī)器學(xué)習(xí)模型，訓(xùn)練相應(yīng)的數(shù)據(jù)進(jìn)行主數(shù)據(jù)管理，就能夠完美解決主數(shù)據(jù)識別的問題，快速了解企業(yè)的數(shù)據(jù)情況，為后續(xù)的主數(shù)據(jù)管理提供數(shù)據(jù)基礎(chǔ)。但是這個過程涉及到數(shù)據(jù)抽取、處理、特征工程、建模等多個環(huán)節(jié)，對企業(yè)而言是個不小的挑戰(zhàn)，有沒有更快、更智能的辦法？
Tempo主數(shù)據(jù)管理平臺了解下！

解決方案
Tempo主數(shù)據(jù)管理平臺是一個以業(yè)務(wù)驅(qū)動、智能輔助的企業(yè)級主數(shù)據(jù)管理平臺，將主數(shù)據(jù)的實(shí)施方法論融入到產(chǎn)品能力中，滿足不同業(yè)務(wù)角度的主數(shù)據(jù)管理需求，能夠解決企業(yè)以傳統(tǒng)模式治理數(shù)據(jù)帶來的成本高見效慢的問題，打破單一的主數(shù)據(jù)管理思路，以最小的成本實(shí)現(xiàn)最大的價值。

△主數(shù)據(jù)識別算法方案框架圖

Tempo主數(shù)據(jù)管理平臺的主數(shù)據(jù)識別算法方案從兩方面入手，先從企業(yè)各業(yè)務(wù)系統(tǒng)進(jìn)行信息提取，再根據(jù)內(nèi)置的算法進(jìn)行機(jī)器模型的構(gòu)建，最終實(shí)現(xiàn)對主數(shù)據(jù)的自動化識別。
第一步：數(shù)據(jù)庫信息提取
主要圍繞表、字段和字段值3個基本元素，并從表信息和字段/值信息兩個維度對數(shù)據(jù)庫基本情況信息進(jìn)行梳理，梳理的數(shù)據(jù)能夠?qū)?shù)據(jù)庫有絕對高的解釋度，進(jìn)而為后續(xù)相關(guān)識別算法構(gòu)建提供數(shù)據(jù)支撐。
同時，由于不同數(shù)據(jù)庫的數(shù)據(jù)類型存在較大的偏差，Tempo主數(shù)據(jù)管理平臺規(guī)定了統(tǒng)一數(shù)據(jù)類型標(biāo)準(zhǔn)，在字段特征提取過程中，分別對字段值的最大值、最小值和平均值都進(jìn)行了提取，以便于進(jìn)一步了解各字段值特征，增加準(zhǔn)確度。
第二步：主數(shù)據(jù)表識別算法構(gòu)建
主要以數(shù)據(jù)庫信息提取結(jié)果數(shù)據(jù)作為輸入數(shù)據(jù)，采用多種方式梳理及初步歸納主數(shù)據(jù)表的表征特征，融合綜合評價模型及機(jī)器學(xué)習(xí)算法等關(guān)鍵算法，從而實(shí)現(xiàn)主數(shù)據(jù)表識別。
算法實(shí)現(xiàn)過程
Step1：數(shù)據(jù)輸入
主要來源為數(shù)據(jù)庫信息提取結(jié)果數(shù)據(jù)。
Step2：數(shù)據(jù)處理
數(shù)據(jù)處理過程主要是針對抽取到的數(shù)據(jù)庫特征數(shù)據(jù)，通過篩選、合并、計算、異常值、缺失值處理等方式。
Step3：特征工程
針對不同的任務(wù)梳理出與目標(biāo)結(jié)果相關(guān)的關(guān)鍵指標(biāo)，這些指標(biāo)的構(gòu)建及確定將從業(yè)務(wù)、統(tǒng)計學(xué)等角度進(jìn)行確定和選擇。
Step4：綜合評價/機(jī)器學(xué)習(xí)模型
基于當(dāng)前數(shù)據(jù)情況，綜合應(yīng)用綜合評價和機(jī)器學(xué)習(xí)模型實(shí)現(xiàn)主數(shù)據(jù)模型構(gòu)建。
Step5：結(jié)果輸出
將主數(shù)據(jù)識別結(jié)果分高、中、低三個等級，從而實(shí)現(xiàn)主數(shù)據(jù)表的推薦。
在此過程中，表數(shù)據(jù)特征是描述表主體信息的關(guān)鍵，Tempo主數(shù)據(jù)管理平臺不僅可以識別到14種表字段值的特征，還基于Bert模型，實(shí)現(xiàn)了對事件、組織類特征表達(dá)、描述方式等其他多樣性特征的識別。

方案價值
該方案在某煤礦項(xiàng)目上得到了應(yīng)用，并通過分層+隨機(jī)抽樣的驗(yàn)證，以及人工標(biāo)記+核查的復(fù)核方式，對主數(shù)據(jù)及參考數(shù)據(jù)的精準(zhǔn)度和查全率進(jìn)行了檢驗(yàn)：
主數(shù)據(jù)精準(zhǔn)度：65.1% ；查全率：100%
參考數(shù)據(jù)精準(zhǔn)度：61.2%；查全率：100%
Tempo主數(shù)據(jù)管理平臺的主數(shù)據(jù)識別算法還可以運(yùn)用到以下場景：
1）建立企業(yè)級的主數(shù)據(jù)統(tǒng)一視圖，識別各業(yè)務(wù)系統(tǒng)主數(shù)據(jù)，形成統(tǒng)一的數(shù)據(jù)信息，明確企業(yè)各主數(shù)據(jù)間的關(guān)聯(lián)性；
2）協(xié)助企業(yè)制定統(tǒng)一的主數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范的管理制度與流程，從而保障主數(shù)據(jù)的產(chǎn)生與存儲的準(zhǔn)確性，數(shù)據(jù)的流轉(zhuǎn)與維護(hù)的可控性，幫助企業(yè)建立一套完善、權(quán)威且高質(zhì)量的主數(shù)據(jù)；
3）通過主數(shù)據(jù)的更新變化趨勢等因素進(jìn)行分析，可以一定程度上促進(jìn)管理體系的不斷完善和業(yè)務(wù)發(fā)展不斷提升。
通過Tempo主數(shù)據(jù)管理平臺進(jìn)行主數(shù)據(jù)識別，可以幫助企業(yè)和組織更好地管理和維護(hù)主數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量和可靠性，同時也可以更快地進(jìn)行數(shù)據(jù)分析和決策，從而提高業(yè)務(wù)效率和公司整體的戰(zhàn)略協(xié)同力，為后續(xù)的數(shù)據(jù)共享和跨系統(tǒng)業(yè)務(wù)協(xié)同打好數(shù)據(jù)基礎(chǔ)，保障企業(yè)數(shù)字化轉(zhuǎn)型的順利進(jìn)行。

[免責(zé)聲明]

原文標(biāo)題：如何高效智能識別主數(shù)據(jù)，這個方案兩步就能輕松搞定！

本文由作者原創(chuàng)發(fā)布于36氪企服點(diǎn)評；未經(jīng)許可，禁止轉(zhuǎn)載。