農發(fā)行：數(shù)據(jù)分析應用架構設計成功案例

方案概述

根據(jù)中國農業(yè)發(fā)展銀行信息化建設“十二五”規(guī)劃，在“十二五”期間，要對業(yè)務經營數(shù)據(jù)進行梳理，以保證數(shù)據(jù)的一致性和準確性為目的，實施數(shù)據(jù)質量工程；以數(shù)據(jù)交換平臺為基礎，建設數(shù)據(jù)倉庫；到2015年末，實現(xiàn)經營和管理數(shù)據(jù)在全行范圍的共享，以數(shù)據(jù)倉庫為基礎，推動建立面向主題、面向市場、面向決策、滿足內部管理和外部政策要求的智能應用，力爭形成全行完整統(tǒng)一、各有側重的決策支持平臺，為經營管理和客戶服務提供基礎信息和決策依據(jù)。

為將不同的業(yè)務報表集中到一個統(tǒng)一的系統(tǒng)框架下來，并為將來的簡單業(yè)務報表提供快捷的定制和實現(xiàn)手段，農發(fā)行在2009-2011年間，完成通用綜合報表平臺的建設和省行推廣，初步實現(xiàn)經營管理數(shù)據(jù)的集成和共享。

到2012年初，綜合報表平臺已經上線使用近三年時間，系統(tǒng)完成了初步建設目標后，隨著報表應用、使用用戶、數(shù)據(jù)量的迅速增長，系統(tǒng)也暴露出了一些問題，主要有：

1．ETL性能不理想，數(shù)據(jù)抽取轉換加載時間過長；

2．各個業(yè)務部門使用平臺制作報表難，主要表現(xiàn)在難以理解數(shù)據(jù)模型上；

3．數(shù)據(jù)量增長過快，在第一次優(yōu)化前，數(shù)據(jù)已呈現(xiàn)爆炸式增長的趨勢；

4．仍然存在綜合業(yè)務系統(tǒng)與信貸管理系統(tǒng)數(shù)據(jù)不同步的問題；

5．數(shù)據(jù)及時性不能保證，導致有些時效性要求高的業(yè)務部門無法放心使用報表平臺。

項目建設概況

為了解決以上問題，保障系統(tǒng)的科學性、先進性、高效性、易用性，更為了全面夯實農發(fā)行數(shù)據(jù)分析應用側的技術架構，從2012年中到2014年初，于行內發(fā)起了更大規(guī)模的綜合報表平臺升級改造項目。

經過歷時五年，總共兩期項目的建設，農發(fā)行數(shù)據(jù)應用體現(xiàn)形成了一個較為完整的技術體系，囊括了數(shù)據(jù)倉庫、分析應用、數(shù)據(jù)管理、數(shù)據(jù)治理、數(shù)據(jù)外圍服務等范疇。

項目建設概況：

1、根據(jù)金融行業(yè)數(shù)據(jù)建模模型，建成了一個囊括會計核心系統(tǒng)（CBS），信貸系統(tǒng)（CM2006），外匯系統(tǒng)（EE）和債券系統(tǒng)（BOND）四大主要業(yè)務系統(tǒng)所有業(yè)務分析數(shù)據(jù)，并完全記錄其歷史變化信息的數(shù)據(jù)倉庫，包括ODS層、整合層、匯總層、應用集市層；

2、綜合報表平臺以數(shù)據(jù)倉庫為主要數(shù)據(jù)源，實現(xiàn)了各報表應用的數(shù)據(jù)同源、同構，統(tǒng)一數(shù)據(jù)口徑；

3、建立了一個包括“數(shù)據(jù)采集模塊、展現(xiàn)分析模塊”兩大模塊的分析應用綜合報表平臺

4、優(yōu)化ETL性能，引入調度平臺和優(yōu)化各ETL作業(yè)，對數(shù)據(jù)倉庫中飛速增長的業(yè)務數(shù)據(jù)進行有效的生命周期管理，大大優(yōu)化了ETL性能，解決數(shù)據(jù)抽取轉換加載時間過長的問題。

5、建設各面向業(yè)務應用的數(shù)據(jù)集市，數(shù)據(jù)集市中的數(shù)據(jù)主要是概括級面向業(yè)務主題的數(shù)據(jù)，屬業(yè)務人員容易理解和使用的主題模型，便于業(yè)務人員使用綜合報表平臺自定義制作報表和進行各類報表展現(xiàn)分析；

6、綜合報表平臺中對會計報表專門設計了"會計指標庫"，通過定義會計指標所包含的科目、科目的屬性、條件以及會計指標的啟用和停用時間來滿足會計相關報表的設計；

7、億信BI可與i@Report無縫對接，不僅能夠通過i@Report從億信BI取數(shù)，實現(xiàn)采集數(shù)據(jù)的初始化，還可以將i@Report采集的數(shù)據(jù)在億信BI進行展現(xiàn)分析，前者能夠大大減少業(yè)務人員的補錄工作量，后者通過i@Report上報的數(shù)據(jù)不需要做任何ETL處理，即可通過億信BI進行豐富多樣的統(tǒng)計分析；

8、i@Report提供了從報表設計、報表發(fā)布、數(shù)據(jù)填報、數(shù)據(jù)審核、匯總上報和審批流程一整套解決方案，從報表定義到數(shù)據(jù)應用這一系列工作流程都是通過該平臺完成，無需人工逐級傳遞，減少了許多中間環(huán)節(jié)，從而幫助農發(fā)行提高數(shù)據(jù)采集的效率，縮短數(shù)據(jù)采集周期。

項目成果

截止2015年，農發(fā)行綜合報表平臺已經完成以下幾方面工作：

建成了一個囊括主要業(yè)務系統(tǒng)所有業(yè)務分析數(shù)據(jù)，并完全記錄其歷史變化信息的數(shù)據(jù)倉庫，包括ODS層、整合層、匯總層、應用集市層；

建成了一個包括“數(shù)據(jù)采集模塊、展現(xiàn)分析模塊”兩大模塊的分析應用綜合平臺，并在此基礎上，完成了多個業(yè)務部門共十四套報表應用的建設，解決內部管理和外部監(jiān)管要求；

完成了數(shù)據(jù)抽取、轉換、加載的基礎技術體系建設、夯實，實現(xiàn)了數(shù)據(jù)處理效率的數(shù)量級優(yōu)化，實現(xiàn)了智能調度、均衡負載/災備的建設；

完善了數(shù)據(jù)治理體系建設，完成了元數(shù)據(jù)、數(shù)據(jù)生命周期、數(shù)據(jù)標準、數(shù)據(jù)質量體系的建設；

完成了30個區(qū)域數(shù)據(jù)/應用中心建設，實現(xiàn)了數(shù)據(jù)中心對外數(shù)據(jù)服務建設，完成了數(shù)據(jù)動態(tài)傳輸、應用版本同步等輔助系統(tǒng)建設。

報表應用層面，在整體架構的基礎上，實現(xiàn)了面向9個業(yè)務部門的14套報表用，并且應用的數(shù)量仍將快速增長，形式將更豐富。