HENGSHI SENSE 4.1 發布，定義現代化的數據分析基礎設施

衡石科技

+ 關注

2022-07-20 14:07

463次閱讀

引言｜產品天花板比市場天花板更重要

正如主導芯片行業的基本規律是摩爾定律，撇開虛浮的熱詞，主導軟件行業的基本規律也很簡單，就是人月神話提到的軟件工程概念。軟件開發是高密度的智力密集型勞動，需要頂尖的工程師團隊和科學的管理模式，這意味著這個商業模式的成本結構以產品研發的高成本投入為核心要素。

大量研發投入的前置導致了軟件業的風險基數，但是比起研發失敗來說，更大的風險是研發成功了，市場打開了，產品創新空間也見底了，即產品的進一步研發投入不再能夠形成進一步的市場競爭力，行業快速進入內卷狀態。

投資要看賽道，產品創業更是如此，對具體的一家公司來說，研發人力成本的投資才是最大的投資。可是選擇產品創新的賽道是玄學，一方面需要對技術路線和發展趨勢的深度把握，另一方面需要對市場客戶階段性需求和進化速度的精準拿捏。前者做到已經很難，后者則是難上加難。一個市場可以長出什么公司不是一個技術問題，是一個生態問題，因此每一個產品創新的公司都值得尊重，他們主動承擔了巨大的不確定性風險，投入密集的智慧和勞動并甘愿充當基礎概率的因子，因為這就是推動整個產業進步必須付出的代價。

HENGSHI SENSE 4.1 創新概覽

Location, location, location

能夠構建生態的平臺型公司，不是由資本力量和技術力量決定的，而是由位置決定的，能夠影響位置的主要因子是時間，因此和位置相關的戰略只有兩種，一種是先發制人，一種是列出不為清單，然后長期專注。

BI 和分析平臺市場走到現在，客戶的需求在全行業爆發，高價值的場景在越來越明確的涌現，市場整體正在不可逆的從早期創新市場走向大眾受益市場。對于身處這個行業的技術公司來說，迎來的是在確定性方面大大增強的時間窗口，這對于前面提到的研發投入風險來說是大利好，也就是說在這個領域選擇創業的系統性風險在大大降低。

由于數據的獲取渠道更加廣泛，數據的種類和格式增多，數據應用的場景也增多，有兩類垂直廠商在快速崛起，構成數據生態中的重要部分。一類是基礎平臺廠商，他們專心解決某一類計算層面問題，比如實時分析，比如高并發數據服務，比如大規模的并行計算，比如可伸縮的云端計算平臺；另一類則是數據分析的場景解決方案公司，比如財稅分析、電商分析、廣告投放分析、用戶行為分析等，這些廠商的方案直接面向業務部門提供，面向具體部門 KPI 提供決策依據，效果明顯且直接。

這兩個層面是近年來圍繞數據形成的生態中的兩個大層，衡石的產品則在這兩層中間充當了一個解耦的角色。圍繞第一個層面開展工作的團隊，必須要在一個計算場景下做到極致，圍繞第二個層面開展工作的團隊，則必須要對某一個垂直領域的know-how管理經驗理解到極致，非常難兩者兼備。衡石定位為數據分析基礎設施，目標是對下屏蔽掉所有的數據平臺多源異構復雜性，收斂為從業務視角的核心功能需求，以服務能力平臺的 PaaS 形態提供給解決方案廠商一個干凈的數據能力調用層。

分層是工程師面對復雜性的習慣動作，數據分析的 PaaS 層能力讓高價值的數據分析業務場景無需從頭研發，得以敏捷搭建并持續進化。畢竟，我們看到市場上優秀的分析解決方案公司，最大問題在于他們無法靈活拓展的隨需應變。衡石對位解決了這個問題，讓數據平臺的技術創新不再成為搭建分析場景的桎梏，幫助每一個垂直領域的 ISV，包括 CRM、ERP、CDP、MA、CEM、MES、OA、HCM等各種垂直應用廠商，轉型為自己領域的高價值數據分析解決方案提供商。

虛擬數倉

數據倉庫建設原本是在物理層面要求數據匯集到一起，隨著大數據時代的到來，計算被傳輸的成本已經大大低于數據被傳輸的成本，反倒是各種數據存算平臺變成了最適合保存各種專題數據的介質。在這樣的演進下，物理的數倉/數據湖都在退化，數據統一管理的要求更多是在虛擬層面發生，數據倉庫/數據湖都在更多演化為邏輯概念。

在這樣的架構下，分析邏輯或者業務計算邏輯，可以更輕量的被管理，和數據相關的任務明確劃分開。建模能力迅速成為現代化企業數據架構中繞不開的環節，因為這里的能力孱弱，則意味著大量的分析工作需要預先定義后提前發生在具體的數據平臺端；這里的能力強悍，意味著具體計算的拖延執行，系統會自動搞定計算的實時翻譯執行，分析人員則專注于商業邏輯本身，隨時調整和實驗。現代化的分析架構是以 ELT 為基礎的，原因就在這里，T才是和業務邏輯相關的，是計算密集型工作，E和L都是數據相關的，是I/O密集型工作，因此最佳實踐是數據管道加分析指標管理的方式，近年來從全球技術創新看，云端的最佳分析架構無疑是 Fivetran + Snowflake + Looker/dbt的方式。

衡石在ELT的基礎上進一步創新，通過建模語義層增強了業務計算邏輯的表達能力，形成了指標體系管理層的強大能力，更加面向業務人員，真正讓業務用起來，這是和市場上其他所有 BI 工具廠商最大的差別。同時衡石針對國內數據服務生態的實際現狀，直接提供了內置的湖倉一體化管理能力，適配整合各種現有數據平臺來提供數據湖能力，這其實也是在國內云市場還沒有成熟的Snowflake類似廠商出現的應對之策。

HENGSHI SENSE 4.1 亮點功能一覽

HENGSHI SENSE 發布 4.1版本。在 BI 工具中臺化的趨勢下大幅提升了企業級管控能力，也在湖倉一體的架構下更加強化了關聯分析前的準備工作。除此之外，儀表盤制作、應用設置、可視化提升、數據管理、數據集成、數據連接等方面增加了很多亮點功能。下面讓我們一起來了解這些新功能：

數據管理
數據集成
數據連接
權限管理
儀表盤制作
應用設置
控件功能提升
系統設置

數據管理

數據繼承

數據集市承載了組織內的公共基礎數據，為不同的業務分析需求提供基礎分析數據，因此數據集市中數據一般不會為某個具體的分析場景做定制，它的用途是比較通用的。

而業務分析往往是針對具體場景進行的，其數據、模型、參數、指標都是有針對性的，這就需要對基礎數據進行加工處理。因此，此次更新中數據集市增加了繼承功能，允許分析師在應用創作時繼承數據，根據業務場景對數據模型進行擴展，使其符合業務分析報表的需求。

應用通過繼承數據包，不僅可以將數據包中的數據集，數據模型原樣使用，而且可以通過新增字段，新增指標，新增數據集，擴展關聯模型等方式，利用現有數據做針對性的擴展，滿足自助分析下靈活多變的需求。而數據管理員通過統一管理數據包的繼承權限，可以保持中心化高度一致性的基礎數據。數據繼承的功能包括：

繼承內容包括數據集、數據模型、參數、數據權限。
繼承的數據集支持新建字段、指標、參數、數據模型。
數據繼承在應用創作中申請，在數據集市中審批。

數據模型生效機制

數據模型新增生效機制設置，生效機制可設置為按需關聯或始終關聯，滿足了更多建模場景，默認情況下為按需關聯。 4.1 之前所有關聯模型都使用按需關聯，表示只使用模型表時關聯關系不生效，只有使用到擴展表時關聯關系才會生效。

4.1 增加了始終關聯，表示關聯關系始終生效，與是否使用擴展表無關。始終關聯滿足了模型表與擴展表強關聯的數據分析場景。如果數據模型建立時某一個關系設置為始終關聯，則數據建模路徑上的關系都為始終關聯。

參數支持多選

4.1 參數增設多選功能，開啟后參數可以設置多個選項，增強了參數功能，使其滿足更多復雜參數場景的需求。參數僅在允許值為列表時支持多選功能，其他場景不支持。參數一旦開啟多選，所有使用參數的場景中都支持參數多選。

豐富數據集類型

4.1 版本新增數據集類型，支持用戶對已有數據集進行行轉列和列轉行操作，并保存為新的數據集，用戶直接使用轉換結果進行分析，提升了圖表分析效率。

數據集成

ELT 新型處理模式和批流一體的數據管道是目前數據分析場景中的重要趨勢。HENGSHI SENSE 4.1 為多源異構數據增強了異步加工和實時同步的處理能力，滿足不同業務場景需求，實現數據高效流通，提升數據應用效率。

流式同步

許多客戶對數據分析具有時效性要求，批量同步最快可以做到小時或者分鐘級別的數據更新時效，在很多情況下用戶的需求需要更加快速的數據更新頻率。4.1 新增流式同步功能，對來源數據進行實時監控，獲取數據源動態信息，當監測到數據源變化時，將來源數據同步到目標數據倉庫中，保障業務數據實時性，提升業務數據需求響應效率。

來源數據連接支持 MySQL、PostgreSQL 、MongoDB。
目標連接數據源支持 Greenplum、 PostgreSQL。
數據schema變動時，支持忽略變動繼續同步，或者觸發全量更新來跟隨數據結構的變化。

轉換節點輸入

數據集成項目增加對轉換節點輸入個數判斷，當輸入個數超過上限時，連接不成功并提示用戶節點的輸入個數已達上限。

聯合節點：支持2個輸入。
合并節點：輸入無限制。
其他轉換節點：支持1個輸入。

數據連接

HENGSHI SENSE 4.1 增強 SaaS API 數據源接入能力。新增內置數據源，擴展數據源種類。同時重新定義了數據源接入規范，只需按照規范編寫 Groovy 腳本就可載入新的數據源，無需編譯代碼，整個過程簡單易操作，提升了數據源接入效率。

支持 Amazon S3 數據源

數據連接通過 SaaS API 實現 Amazon S3 數據源接入，豐富了數據源類型。

插件式的 API 數據源接入規范

4.0 版本自定義 API 數據源時需要修改源碼，重新編譯，而代碼內部結構復雜，依賴較多，全程需要衡石工程師協助，用戶實現起來較為復雜。4.1 版本重新定義 API 數據源接入規范，用戶僅需在 Groovy 腳本中按照規范編寫函數，并通過環境變量 EXT_API_PATH 指定腳本位置，然后重啟設備，腳本中定義的數據源會自動載入到系統中。

數據源接入規范比較簡單，只需實現下面四個函數。

getAPIName ：用來獲取 API 名稱。
setOptions：用來處理認證鑒權相關配置信息。
fetchPathTables：用戶獲取數據源目錄結構。
fetchTableData ：用于獲取table節點數據。

權限管理

數據列權限

4.1 增加列權限，與行權限一起控制數據可見性，更好地保護數據安全性。列權限支持對不同用戶設置列字段查看權限。當字段設置列權限后，設置的用戶不可見這些字段，相應的字段信息顯示為NULL。字段設置列權限不影響建模、作圖等正常分析工作。當有多條列規則時，規則之間取并集。

數據連接權限下發

數據連接增加了權限管理功能，可對連接設置管理者，由管理者對其部門用戶進行連接使用設置，實現了數據連接權限下發，連接使用上更靈活。連接管理者只能對連接進行權限控制，不能編輯和刪除連接。

租戶使用數據連接

數據連接增加授權給租戶功能后，平臺方可以將數據連接授權給租戶，使租戶基于數據連接進行進行自助分析，擴展了租戶使用場景。平臺方僅支持以只讀訪問的方式將數據連接授權給租戶。

應用行權限控制

優化應用中數據行權限控制功能，在簡單過濾基礎上增加表達式過濾，可以對更多的場景進行控制。

數據服務

增加 API 按次數授權

新增 API 授權方式，在按時間授權方式基礎上增加按次數授權方式，用戶可以更加靈活的分配 API 資源以適配不同的需求場景。按次數授權用戶支持自定義 API 調用次數，也可以配置為無限次調用。

增加 API 參數

API 新增 needTotalHits 參數用于記錄請求數據的總行數。此外，還支持將數據來源中的參數作為 API 的請求參數，傳遞信息，這種場景僅適用聚合 API 和明細 API。

儀表盤制作

圖層使儀表盤更精美

4.1之前儀表盤沒有圖層概念，多圖重疊需要通過拼合的方式實現，拼合控件的尺寸需要嚴格計算，才能達到理想的效果，操作較繁瑣。4.1 儀表盤增加了圖層，多圖重疊可通過圖層一張張疊放來實現控件相互嵌套的合成效果，操作簡單方便。圖層功能使儀表盤在展示分析數據的同時展示樣式更加美觀、更加多樣化，大大提升了用戶體驗。

圖層支持調整排列關系、對齊方式、分布方式。
圖層支持快速定位。

固定尺寸適配更多展示終端

自適應頁面模式以網格數來適配不同尺寸展示器，滿足大部分展示場景的同時，在一些固定尺寸的顯示器上顯示效果欠佳。4.1 增加固定尺寸頁面模式，以像素為基礎展示儀表盤，彌補了自適應頁面的不足，適配更多的展示終端。

預設多種頁面尺寸選項，方便用戶選擇，同時支持用戶自定義。
提供了畫布縮放、顯示全部輔助功能，方便用戶查看。
支持設置頁面在嵌入場景下的展示模式包括不縮放、全部內容、充滿屏幕。
支持與自適應頁面模式相互切換。

形象直觀的主題卡片

4.1 之前主題卡片僅用三個主色及主題背景來展示，比較抽象，不能準確表達出使用主題后儀表盤的展現樣式。4.1 對此進行了優化，主題卡片上呈現了主要圖表在該主題下的縮略圖，形象直觀，用戶通過主題卡能預知儀表盤展現樣式，可快速選出符合預期的主題。

增設全部主題、預設、我的、其他四個頁簽，對主題進行分類管理。
增加權限管理，僅創建者或管理員可以修改、刪除、重命名主題，其他用戶只有使用權限。
支持租戶自定義主題，僅租戶內部可見，平臺方和其他租戶不可見。

儀表盤實現控件多選

4.1 之前儀表盤調整布局時每次只能選中一個控件進行操作，效率較低。4.1 新增控件多選功能，實現多控件統一調整，如多控件整體移動、排列、對齊等，大大提升了儀表盤制作效率。

應用設置

應用展示設備

4.1 之前應用無法區分展示設備，應用的編輯界面都會包含PC端和移動端。使用單一展示設備的用戶要面對兩個頁面，操作上帶來了很多不變。4.1 應用支持設置展示設備，并按照配置呈現相應設備的編輯頁面，更符合用戶使用場景及操作習慣。

應用編輯過程中可隨時修改配置。
應用卡片上呈現相應的設備。
查詢應用僅支持在PC端展示。

應用指標預警

4.1 新增應用指標預警功能，用于監控應用中圖表的指標，當指標達到閾值條件時通知用戶，讓用戶及時感知業務指標變化情況，調整業務策略。指標預警支持設置多條預警，每條預警可自定義檢測時間及預警頻率。預警可通過郵件和Webhook兩種方式通知用戶。目前該功能暫時不對應用集市和租戶場景開放。

增加應用全屏輪播設置

4.1 對應用全屏輪播功能進行優化。在應用設置中增加全屏輪播設置規則，使應用進入全屏后自動根據設置規則輪播，解決了輪播設置僅當次生效，退出全屏后再次進入需要重新設置的問題。

應用自定義圖表數據緩存周期

4.1 之前整個系統所有應用統一設置圖表數據緩存周期，但是由于不同應用數據更新需求也不一樣，導致有些應用數據更新慢，有些應用更新快，無法兼顧。4.1 新增應用圖表數據緩存配置，每個應用可以根據業務場景單獨設置，不受系統設置的影響，更加靈活方便。應用未配置時仍按照系統配置進行更新。

應用多版本管理

某些應用發布后，依舊會不停的更新內容發布新的版本，所以一個應用可能會發布很多版本。新版本覆蓋了舊版本內容，用戶無法查看歷史上某個發布版本的內容。4.1 新增應用版本管理功能，應用發布時保存了版本數據及相關分析內容。當需要回歸到某個歷史版本時，可以在應用管理中找到該版本，一鍵還原，快速方便。應用版本管理功能暫時不對租戶場景開放。

版本管理保留了儀表盤、數據集、數據模型、參數、翻頁器等與數據分析相關內容，與權限設置相關內容不保存。
為了避免占用大量內存空間，目前僅支持保留應用最近發布的3個版本相關信息。

發布態應用快速編輯

應用集市中的應用需要更新或修改內容時，需要返回到應用創作中找到原始應用進行修改，用戶操作路徑比較長。 4.1 在發布態應用中增加去編輯按鈕，通過該按鈕可快速跳轉到編輯態的應用，操作方便，節省用戶時間。

該功能受創作區應用權限控制，無權限的用戶跳轉時提示權限不足。
平臺方授權給租戶方的應用無該選項。
僅擁有數據查看角色的用戶，其應用集市中的應用無該選項。

控件功能提升

豐富 KPI 展示樣式

4.1 之前 KPI 的主副指標僅支持上下展示，多指標 KPI 無法達到理想展示效果，往往需要創建多個 KPI 圖表并借助容器來實現理想的布局。4.1 對 KPI 進行了優化。整體布局上支持主副指標上下、左右排列展示，局部展示上支持在主、副指標內調整展示樣式，豐富了 KPI 展示樣式，大大提升了多指標 KPI 制作效率。

表格增加條件格式場景

表格的條件格式是對符合條件的單元格的背景和文字進行顏色設置，將重要信息突出展示。 4.1 對條件格式進行增強，增加了最大/最小、邏輯規則，使其能夠支持更多的場景，擴大了條件格式使用范圍。

最大/最小規則：按依據字段的最大、最小值進行條件設定。
規則：是對依據字段進行>、 ≥ 、 < 、 ≤ 、 = 、!= 、包含、不包含、介于、不介于、空值、NULL等邏輯判斷進行條件設定。
多條規則時按照由上到下的順序依次執行。

表格導出數據樣式

表格在進行數據分析展示時，一般會使用條件格式等功能設置單元格展示樣式，突出重點信息，用戶希望導出數據時能保留這些樣式。4.1 增加了保留單元格樣式功能，同時支持明文導出脫敏數據，數據導出實現了所見即所得。

優化表格鎖定功能

表格優化維度列鎖定功能，之前該功能只能鎖定全部維度列，不夠靈活，特別是在移動端打開時，當維度列過多，鎖定所有維度可能會導致左右滾動無法查看表格右側度量信息。 4.1 進行了優化，用戶可根據需要鎖定維度列中的前N個，使用場景更加靈活。

按鈕支持導出圖表

按鈕控件導出事件支持導出應用和儀表盤的相關內容。4.1 版本在此基礎上增加了導出圖表。通過按鈕可以導出圖表的數據、PNG 和 PDF 。

度量維度增加排序方式

原有度量維度排序方式比較單一，而且針對不同字段類型排序方式不同。4.1 對度量字段對比維度排序進行統一設置，并增加了指定排序、圖內度量排序等排列方式，豐富了圖表數據排序樣式。該功能僅適用有度量維度的表格和組合圖表。

自定義圖表排序級別

表格排序時主維度先進行排序，次維度在主維度的基礎上進行排序，所以表格排序與維度順序有關。當用戶想改變表格排序又不想改變維度順序時，可以通過開啟自定義排序級別來實現。自定義排序級按照自定義的維度順序進行表格排序，不影響表格原有維度展示。該功能適用表格、組合圖表、桑基圖。

合并項目排序優化

合并項目創建后默認參與圖表排序功能，但是某些場景下合并項目參與排序會對其他項目分析有影響。4.1 中增加了配置項，用戶根據業務場景配置合并項目是否參與排序，使用更加靈活。

增加圖表只讀態排序設置

圖表在發布、預覽、嵌入等只讀狀態下保留了排序功能，允許查看者根據自己的需求對圖表重新排序，展示不同維度的排序信息。某些場景下，應用創作者想展示固定排序內容，不希望查看者改變圖表排序方式。這種情況下，4.1 對該功能進行了優化，增加了只讀態排序配置項。應用創作者可以設置查看者是否可以對圖表重新排序。此外，該配置項還支持對只讀態下的數據集表格、表格、交叉表設置可以切換順序的字段。