陽光保險集團數據查詢分析系統——海量數據高效查詢分析

項目背景 

在保險行業中，隨著數據的日積月累，業務數據量已經超過了億條的規模，這些寶貴的數據如果應用于分析決策，將會帶來顯著的附加值。在大數據形勢下，作為國有七大保險集團之一的陽光保險集團，正積極利用新理念和新技術挖掘數據的價值，實現正確及時的分析決策，不斷提升其競爭力。

陽光保險集團原有的分析系統中使用傳統數據庫，其性能已無法滿足海量數據查詢分析和挖掘的需求，亟需引入新的技術架構支撐集團對海量保險業務數據的復雜分析和深度挖掘。

需求分析 

陽光保險集團的大數據分析主要面臨如下兩個方面的問題：

數據增長快速：集團目前擁有客戶4000萬，業務涉及產險、財險、壽險、車險、集團電銷、公司險等多項業務，數據總量大，數據增長迅速，大量歷史數據需要保存；

查詢復雜度高，現有系統響應慢：現有系統采用自定義函數、自定義存儲過程等方式實現數據查詢，查詢復雜度高，系統響應不及時，無法滿足大數據量下的數據挖掘需求。

當前系統需要采用新型分析類架構，實現對各業務海量數據的統一存儲和管理，并能夠進行高效的查詢統計和深度挖掘，有效地提高集團的分析和決策能力，實現經營管理優化，提升核心競爭力。

解決方案 

為了滿足陽光保險集團對海量數據的查詢分析和數據挖掘需求，采用GBase 8a MPP Cluster大規模分布式并行數據庫集群系統構建數據平臺。GBase 8a MPP Cluster數據庫負責海量數據的加載，基礎數據整合和共性加工，構建各主題的數據挖掘集市，完美支撐集團的分析應用和決策需求。

方案采用2x2節點和1臺加載機，目前的數量為15TB，每天的增量數據是15GB，共4931張表，最大表3億多行。GBase 8a MPP Cluster數據庫以列存儲、高壓縮為核心，管理及對接客戶多種業務系統平臺。

項目采用批量生成ETL腳本工具，融合客戶多種業務應用系統平臺信息數據，大大提高了開發效率，保證數據的處理效率，為客戶深層次業務分析提供了強有力的支撐，滿足了用戶保險業務系統信息整合及高速統計。

平臺上線后，滿足了集團多個高層次的應用：

通過歷史保單信息、客戶信息、交易信息、財務信息等數據分析，提升新業務的拓展效率；

通過險種、交費年期、被保人職業、被保人年收入、被保人年齡段等信息，優選投保種類；

通過大數據組合及挖掘，深層次地分析險種受眾群體。

價值體現

高速加載、海量存儲：實現加載億行大表數據，同時提供高壓縮比入庫從而提升性能，海量存儲能力，整合多業務部門數據，并可根據需求在線動態擴展；

即席查詢、秒級響應：在海量數據下，實現高速即席查詢、區間范圍查詢，為分析系統提供穩定支撐；

高效分析、精細運營：大幅提升保險行業中涉及到的大表關聯、多表關聯查詢的運算分析性能，復雜統計分析秒級響應，幫助客戶實現精準營銷、精細化運營。