數(shù)見科技合作中石油：進行數(shù)據(jù)分析

588次閱讀

客戶介紹

中國石油天然氣集團有限公司「簡稱：中國石油」是國有重要骨干企業(yè)和中國主要的油氣生產(chǎn)商和供應(yīng)商之一，是集油氣勘探開發(fā)、煉油化工、銷售貿(mào)易、管道儲運、工程技術(shù)、工程建設(shè)、裝備制造、金融服務(wù)于一體的綜合性國際能源公司，在國內(nèi)油氣勘探開發(fā)中居主導(dǎo)地位，在全球 35 個國家和地區(qū)開展油氣業(yè)務(wù)。2020 年，公司在世界 50 家大石油公司綜合排名中位居第三，在《財富》雜志全球 500 家大公司排名中位居第四。

項目背景

1、多源異構(gòu)數(shù)據(jù)打通難

中石油需要構(gòu)建融合 Oracle、 MySQL、 PostgreSQL 等異構(gòu)數(shù)據(jù)源到 Oracle 、HashData、Greenplum 的多條數(shù)據(jù)鏈路，自研難度較大。

2、自研產(chǎn)品表現(xiàn)不理想

中國石油自研了數(shù)據(jù)同步產(chǎn)品 DSB，采用代碼方式實現(xiàn)數(shù)據(jù)傳輸鏈路，每個數(shù)據(jù)同步任務(wù)需要編制腳本，研發(fā)交付效率較低。沒有圖形化界面，任務(wù)狀態(tài)監(jiān)控等運維功能不直觀，用戶權(quán)限、安全等方面的管理功能不完善。

3、實時數(shù)據(jù)融合能力不足

中國石油需要實時將油田數(shù)據(jù)采集到大數(shù)據(jù)平臺進行建模分析，自研的 DSB 只實現(xiàn)了定時數(shù)據(jù)同步，未能實現(xiàn)實時數(shù)據(jù)同步，實時數(shù)據(jù)融合較定時模式自研難度更大，穩(wěn)定性、性能要求更高。

解決方案

1、多源異構(gòu)

零代碼部署后即可實現(xiàn)客戶 Oracle、 MySQL、 PostgreSQL、HashData、Greenplum 等十余種數(shù)據(jù)庫技術(shù)的打通，實現(xiàn)異構(gòu)數(shù)據(jù)之間同步。

2、實時增量獲取

通過 DataPipeline 解析數(shù)據(jù)庫日志的方式，實現(xiàn)對 Oracle、MySQL、 PostgreSQL 的實時增量數(shù)據(jù)的準(zhǔn)確獲取。

3、可管理性

通過可視化管理頁面和配置式構(gòu)建數(shù)據(jù)鏈路，極大地提升了數(shù)據(jù)工程師的工作效率；運維人員通過可視化監(jiān)控界面，及時查看任務(wù)執(zhí)行情況，及時發(fā)現(xiàn)問題，提升了運維效率，降低了風(fēng)險。

價值

1、降低研發(fā)成本

自研難度太大，耗時太長，成本太高。中國石油上線了 DataPipeline 后，極大降低了研發(fā)成本且可以立即投入使用，省時省力省錢。

2、釋放實時數(shù)據(jù)價值

數(shù)百個實時數(shù)據(jù)任務(wù)為從生產(chǎn)管理到經(jīng)營決策的各個部門，從勘探、開發(fā)、生產(chǎn)到作業(yè)的各類場景提供準(zhǔn)確、可靠、一致的批量與實時數(shù)據(jù)，使生產(chǎn)管理及研究人員從日常瑣碎繁重資料收集、數(shù)據(jù)處理工作中解放出來。

3、提升管理效率

實現(xiàn)了勘探開發(fā)數(shù)據(jù)的統(tǒng)一采集、集中管理與共享應(yīng)用，極大地提升了勘探開發(fā)生產(chǎn)科研工作效率，為中國石油打造國際一流能源企業(yè)奠定了堅實的基礎(chǔ)。

提及產(chǎn)品