星環合作國網公司：建設電力大數據實驗平臺

項目背景

國內外高度關注大數據技術發展，大數據已上升為我國的國家戰略。隨著智能電網的深化建設，電力系統生產、運行、銷售、管理等過程產生出大量數據，迫切需要利用大數據技術，高效挖掘多源異構電力數據，深度發現電數據價值，提升電網發展運營水平，提高對社會經濟的服務水平?；谶@樣的情況，國家電網上海市電力公司籌備建設電力大數據實驗平臺。

問題與需求

1、數據的統一儲存

在電力系統不斷的生產、運行、管理過程中，會產生非常大量的數據，每年都有30%的增長。這些數據包含結構化數據，非結構化數據。傳統的結構化數據有26.7T，而圖形數據、音頻數據、以及文檔數據合計有300T之多。如何將不同類型的數據統一存儲，是非常大的挑戰。

2、深度挖掘電力數據價值

國網公司希望建設電力大數據的數據倉庫和數據集市，提供電力大數據應用模擬環境，提供電力大數據應用集成方案。

解決方案

選用目前主流的分布式技術，面向電力應用研發了大數據基礎平臺。擁有Inceptor SQL引擎，支持完整的SQL語法，可降低應用開發難度；擁有Hyperbase列式數據庫，通過多種索引技術的組合使用，可實現范圍查詢、模糊查詢等高速反饋；支持聚類、回歸等通用算法和機器學習算法的調用，以及面向電力應用算法的自定義開發；支持流式數據的實時處理；可對數據進行行列安全控制，安全管理體系做到和Oracle一致。

實施效果

1、數據模型和信息模型

利用大數據應用平臺的工作流和數據流管理，實現數據從數據緩存區到原始庫，通過數據清洗、修正后轉存至中間庫，根據用戶行為分析和用電預測場景算法分析、計算后，將最終數據存儲至Hbase分析結果庫，提供示范應用可視化展示。共根據業務場景建成結果數據模型一百八十多張。實現數據從數據緩存區到原始庫。通過建立基礎數據模型，如用戶臺賬、臺區臺賬、日凍結電量等，為上層數據分析提供數據支撐，最終建立可視化信息模型，使可視化得以高效的展示和交互 。

2、數據交換及共享機制實現

完成了上海浦東新區電網數據、用戶數據和社會環境經濟數據等多源異構數據的接入，結構化數據按oracle格式存儲至緩存區，非結構化數據如地理拓撲信息，按xml/svg文件格式存儲。接入了9個業務數據源包括電力系統內部數據源和外部氣象信息和社會經濟數據（能量管理系統、配電自動化系統、電能質量監測系統、生產管理系統、用電信息采集系統、負荷控制系統、營銷應用系統、氣象信息系統和上海社會經濟數據），其中包括了結構化、半結構化數據，接入用戶數達到千萬。

3、數據檢索性能提升

為智能配用電大數據系統提供多種高性能的存儲方式并，實現了對數據的高速查詢和檢索，分別采用了Search、Hbase、Holodesk等數據存儲技術進行實現，結合并發查詢，結果緩存等實現技術，將最終信息檢索速度提升到1秒以內。