大唐國際生產運營全過程數據采集項目

一、項目概述

大唐國際項目是人大金倉在電力行業大型系統數據支撐服務的標桿項目。本項目以大唐國際業務系統的數據為基礎，建設大數據技術為核心的數據匯集中心和數據分析平臺，搭建穩定可靠、集中統一的數據復制、匯總系統及圖形化管控平臺。通過梳理業務管理指標體系建立相關的數據字典、編碼定義等基礎數據管理工作，分層次構建ODS、數據倉庫、數據集市。針對業務人員和公司管理層提供各業務的OLAP分析功能。

二、金倉價值

金倉分析型數據庫KingbaseAnalyticsDB（簡稱KADB）在本項目中的作用：

1、KADB內部提供高可用機制，主控節點采用主備架構，存儲節點采用交互備份模式；當主控節點A出現故障時，業務系統還能繼續提供服務；

2、采用ETL工具導入，通過庫內存儲處理數據的方式清洗數據，由于數據都是在數據庫內部處理，速度比外部ETL工具處理要快5-10倍；

3、通過多鏡像模式與數據庫全量備份的方式保證可用與可靠性；

4、實現與Informatic的對接，將業務數據庫中的數據抽取到KADB中，并由indormatic調用函數，將存儲在KADB中的數據整理輸出到對應表中；

5、存儲不同結構類型的數據為前端實現不同業務的多維度分析展現提供數據支撐。

三、技術實力

1. 第一次電力行業大型系統數據支撐服務；

2. 數據采集點分散，匯集到大唐信息中心后數據雜表較多，需集中清理；

3. 需滿足各層領導的業務需求，展現信息范圍廣；

4. ETL工具抽取采集過程慢，需要將清洗數據放到數據庫內部處理；

5. 可用與可靠性要求較高。

四、客戶評價

人大金倉從項目初始階段就與用戶進行深度的溝通交流，為用戶提供全方位的解決方案，包括數據庫設計、架構設計、方案設計等多層面為用戶提供支持。