品牌名稱
中國銀行
企業規模
10000人以上

星環合作中國銀行:信用風險監控領域的大數據應用

406次閱讀

隨著宏觀經濟下行,商業銀行信用風險不斷累積并加快暴露, 傳統的信用風險監控措施及管理流程較為單一、滯后與被動,難以適應日益復雜的外部經濟形勢和內部管理要求。為改變信用風險管理的現狀,中國銀行上海分行自2014年起著手建設信用風險預警監控管理系統,匯總整合內外部數據,通過編制專業化預警規則,利用科技手段全面、高效、主動地識別風險。系統投產后隨著歷史數據的累積、外部數據的拓展、預警規則的豐富,傳統數據分析技術手段的局限性逐漸顯現,采用分布式大數據技術勢在必行,是解決上述問題瓶頸的有效策略。

 

傳統信息處理技術應用于信用風險監控領域的局限性

 

1、數據管理成本高、可擴展性差

 

系統最初采用關系型數據庫解決數據管理問題,硬件配置為小型機及SAN存儲,由于應用場景需要長期歷史數據的累積,導致硬件開銷增加、數據處理效率下降,高成本的硬件追加投入和簡單的數據庫調優無法徹底解決日益增長的數據規模和傳統信息處理模式帶來的性能瓶頸。

 

2、半結構化、非結構化數據支持度低

 

為獲取外部負面信息,系統在隔離區的PC服務器上部署外部信息采集服務,運用網絡爬蟲技術,將互聯網的非結構化信息進行結構化轉換后,寫入關系型數據庫進一步分析加工。這種信息處理模式在實際運行中產生了大量基于數據庫的I/O請求,快速消耗系統資源,使服務器長期處于滿負荷運作狀態,仍無法適配互聯網的更新頻率和時效。

 

3、數據檢索效率受限

 

系統需實現基于大數據量、組合條件的在線檢索,在關系型數據庫中只能通過分表、分區等解決方案,以犧牲一定的使用便利性、增加維護成本為代價,但查詢響應效率仍無法滿足日益增長的需求。

 

引入大數據技術的信用風險預警系統技術框架

 

鑒于上述局限性,中國銀行上海分行對原有預警系統的技術平臺進行了重新規劃,從單一依靠關系型數據庫的模式,轉型為分布式大數據技術與集中式關系型數據庫技術相結合的模式。引入大數據平臺后的預警系統架構如圖1所示。

 

1、銀行外網區

 

在外網中可以訪問的外部數據來源,根據數據獲取方式的不同,分為:(1)網絡輿情:采用定向爬蟲,通過互聯網連接各大網站進行頁面抓取;(2)其他數據:通過其他非自動渠道獲取的外部結構化數據。

 

2、DMZ區

 

指架設在銀行非安全系統和安全系統之間的緩沖區,外部數據采集模塊部署在該區域,運用網絡爬蟲技術,定時向外網的指定網頁實施定向爬取,解析后暫存至DMZ區服務器。采集服務器之間可做集群或負載均衡。