微眾銀行：使用圖數(shù)據(jù)庫(kù)進(jìn)行全局?jǐn)?shù)據(jù)血緣治理

微眾銀行是中國(guó)首家民營(yíng)銀行，目前個(gè)人客戶(hù)已突破 2.5 億人，企業(yè)法人客戶(hù)超過(guò) 170 萬(wàn)家。微眾銀行基于悅數(shù)圖數(shù)據(jù)庫(kù)搭建全行級(jí)圖平臺(tái)，并將圖指標(biāo)、圖計(jì)算納入風(fēng)控策略，深度探索潛在的交易風(fēng)險(xiǎn)。

業(yè)務(wù)挑戰(zhàn)：互聯(lián)網(wǎng)交易數(shù)據(jù)指數(shù)級(jí)增長(zhǎng)，原有數(shù)據(jù)庫(kù)性能不足

為了應(yīng)對(duì)業(yè)務(wù)的擴(kuò)展和數(shù)據(jù)來(lái)源的增長(zhǎng)以及指數(shù)級(jí)增長(zhǎng)的互聯(lián)網(wǎng)金融交易風(fēng)險(xiǎn)，微眾銀行建立了內(nèi)部一站式大數(shù)據(jù)管理平臺(tái) WeDataSphere。其基礎(chǔ)平臺(tái)由數(shù)據(jù)交換、數(shù)據(jù)分發(fā)、計(jì)算、存儲(chǔ)四大層次組成，關(guān)注底層數(shù)據(jù)傳輸計(jì)算存儲(chǔ)能力；功能平臺(tái)由平臺(tái)工具、數(shù)據(jù)工具、應(yīng)用工具三大層次組成，關(guān)注用戶(hù)各類(lèi)功能工具需求實(shí)現(xiàn)，從而形成完整的大數(shù)據(jù)平臺(tái)技術(shù)體系，能夠提供一站式的豐富數(shù)據(jù)平臺(tái)組件及功能支撐。

但早期圖數(shù)據(jù)庫(kù)系統(tǒng)性能較差，且依賴(lài)的其他數(shù)據(jù)組件較多，運(yùn)維成本偏高，為提升圖數(shù)據(jù)分析處理的性能和可靠性，計(jì)劃對(duì)當(dāng)前的圖數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行架構(gòu)優(yōu)化。

選擇悅數(shù)圖數(shù)據(jù)庫(kù)：

建設(shè)數(shù)據(jù)平臺(tái)分析數(shù)據(jù)血緣及影響范圍

經(jīng)過(guò)測(cè)試相較于同類(lèi)競(jìng)品，「悅數(shù)圖數(shù)據(jù)庫(kù)」的查詢(xún)和導(dǎo)入性能都更優(yōu)秀。比如 60 萬(wàn)個(gè)點(diǎn)、百萬(wàn)級(jí)別邊這個(gè)場(chǎng)景的情況，在單節(jié)點(diǎn)低配機(jī)器部署情況下，微眾銀行導(dǎo)入數(shù)據(jù)基本上在 20 分鐘內(nèi)完成，說(shuō)明悅數(shù)的寫(xiě)入性能非常好。

微眾銀行在圖數(shù)據(jù)庫(kù)選型時(shí)有一個(gè)重量考核點(diǎn)：高可用和容災(zāi)的架構(gòu)支持。悅數(shù)圖數(shù)據(jù)庫(kù)采用分布式設(shè)計(jì)，支持分集群部署模式，具備存儲(chǔ)和計(jì)算的橫向擴(kuò)展能力，更加符合銀行場(chǎng)景下的分布式和高可用要求。另外，大數(shù)據(jù)平臺(tái)本身旨在構(gòu)建一個(gè)完整的數(shù)據(jù)流生態(tài)，悅數(shù)提供了豐富的大數(shù)據(jù)生態(tài)工具，包括 Spark/Flink 數(shù)據(jù)連接器、數(shù)據(jù)遷移工具等，提供了和大數(shù)據(jù)平臺(tái)數(shù)據(jù)流結(jié)合的能力。

應(yīng)用場(chǎng)景：

應(yīng)用場(chǎng)景 1：血緣數(shù)據(jù)實(shí)時(shí)查詢(xún)

通過(guò)建立數(shù)據(jù)資產(chǎn)目錄，指引數(shù)據(jù)的獲取、訪(fǎng)問(wèn)和使用，輔助數(shù)據(jù)資產(chǎn)的有效利用，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)安全管理。具體操作來(lái)說(shuō)，可以以某個(gè)表為起始節(jié)點(diǎn)遍歷得到上游表和下游表；服務(wù)端通過(guò)悅數(shù)圖數(shù)據(jù)庫(kù)的 Java 客戶(hù)端連接到悅數(shù)圖數(shù)據(jù)庫(kù)查詢(xún)即可得到血緣關(guān)系。

應(yīng)用場(chǎng)景 2：血緣數(shù)據(jù)批量分析

以某個(gè)租戶(hù)、某個(gè)部門(mén)的表、某個(gè)產(chǎn)品的表為起始節(jié)點(diǎn)批量分析得到這些表的上游表和下游表的完整鏈路；大數(shù)據(jù)任務(wù)通過(guò)悅數(shù) Spark 連接器將點(diǎn)數(shù)據(jù)和邊數(shù)據(jù)批量導(dǎo)入悅數(shù)圖數(shù)據(jù)庫(kù)，再使用基于 GraphX 的算法批量分析得到完整的血緣鏈路。

以上圖為例，藍(lán)色表為中心數(shù)據(jù)，通過(guò)微眾的數(shù)據(jù)平臺(tái)可以查詢(xún)下游的一度關(guān)系表和上游的一度關(guān)系表。同時(shí)大數(shù)據(jù)平臺(tái)構(gòu)建圖數(shù)據(jù)庫(kù)數(shù)據(jù)模型時(shí)加入了時(shí)間屬性，因此可以查詢(xún)特定時(shí)間，比如：某張表昨天到今天的血緣關(guān)系，用戶(hù)可基于時(shí)間維度進(jìn)行數(shù)據(jù)過(guò)濾和檢索。

使用收益：平臺(tái)數(shù)據(jù)治理能力全面提升

通過(guò)此次升級(jí)，微眾銀行對(duì)大規(guī)模數(shù)據(jù)處理能力得到全面提升。悅數(shù)圖數(shù)據(jù)庫(kù)具備較強(qiáng)的讀寫(xiě)平衡能力，同時(shí)能達(dá)到每秒百萬(wàn)行級(jí)的導(dǎo)入能力，實(shí)現(xiàn)了數(shù)據(jù)血緣場(chǎng)景下的實(shí)時(shí)和批量查詢(xún)的要求。

其次，悅數(shù)圖數(shù)據(jù)庫(kù)采用存算分離的分布式架構(gòu)，具備較好的計(jì)算和存儲(chǔ)層橫向擴(kuò)展能力及金融級(jí)高可用能力，能夠滿(mǎn)足數(shù)據(jù)和業(yè)務(wù)動(dòng)態(tài)擴(kuò)縮容要求，確保集群運(yùn)行穩(wěn)定。目前全行 AIOps 都已經(jīng)接入悅數(shù)圖數(shù)據(jù)庫(kù)平臺(tái)。