超算互聯啟航，數據存儲創(chuàng)新為什么是“壓艙石”？
文|智能相對論（aixdlun）
作者|葉遠風
數據密集型超算技術，如何讓多中心實現“低摩擦”互聯？
數字經濟大時代，超算已經不夠，“超算互聯網”來了。
最近，2022中國算力峰會(濟南)暨超算互聯網工程上線儀式在國家超級計算濟南中心舉辦。會上，濟南超算上線了“超算互聯工程”，顧名思義，即多地、多中心以互聯的方式協(xié)同提供計算服務。這種聯動模式相比較單個計算中心，將更大程度上推動產業(yè)數字化進程并護航國家重大科研技術創(chuàng)新。
值得注意的是，在峰會現場，山東省科技廳、濟南超算、華為還共同揭牌了一個“數據密集型超算示范基地”，表達了海量數據存儲在超算互聯網中的關鍵價值。
以往，人們對這種大型算力中心的聯動的關注往往停留在計算設備與網絡上，而現在，隨著超算互聯網的建設，數據存儲的價值同樣凸顯出來，它們共同推動著超算互聯網基礎設施有效落地，取得巨大的商業(yè)價值與社會價值。
超算互聯網完成“打樣”，
推動地區(qū)乃至全國數字經濟發(fā)展進入快車道
作為國家級先進超算基礎設施，超算互聯網在山東、濟南的落地，對地區(qū)數字經濟快速發(fā)展的推動作用毋庸置疑，而其建設過程也在全國打了個樣。
事實上，在本次發(fā)布超算互聯網之前，山東省、濟南市超算產業(yè)上持續(xù)投入了大量資源，取得了很多成果，這些成為超算互聯網落地的前提。
技術層面，在華為等伙伴的共同努力下，濟南超算的性能在全國乃至全球都處在領先位置。
不久前，在德國漢堡舉行的ISC 2022高性能計算大會發(fā)布了第十期IO500榜單，濟南超算新一代山河超級計算平臺在10節(jié)點榜登頂奪冠，成績首次跨過3000分，大幅刷新了該榜單歷史最好成績。而這個成績的實現，離不開華為OceanStor Pacific分布式存儲的底層支撐。
在產業(yè)層面，2019年，濟南就建成了國家首個超算科技園區(qū)，配合一系列政策措施走出了以算力賦能高質量發(fā)展的創(chuàng)新之路。從數據上看，濟南生產的服務器產銷量位列全國第一、全球第二，AI服務器產銷量也實現全球第一，超算制造全球第二，國內超過50%的AI算力來自濟南。
有了這樣的技術+產業(yè)的底子，出于進一步發(fā)展的需要，濟南超算在國內較早提出并大力推進超算互聯網建設，并不在意料之外。
現在，這項開創(chuàng)性工作在各方努力下終于走向落地，無疑將帶動輻射地方科技、產業(yè)發(fā)展，推動濟南、山東的數字經濟走在全國前列。
而在全國多地，超算的建設正如火如荼，長期耕耘下，許多與濟南有著同樣愿景的地區(qū)也客觀上具備超算互聯網建設的資源和能力，市場上出現一個成功實踐的樣板，無疑會帶來重要的借鑒價值。
總的看來，濟南超算與華為此次深度合作推動超算互聯網的落地，為中國超算、超算互聯網的發(fā)展提供可借鑒的“濟南樣板”，為超算互聯網領域產、學、研的合作樹立了榜樣，將推動提升我國超算的應用水平，讓超算這一“國之重器”顯示出強大的力量。
超算互聯網落地面臨數據挑戰(zhàn)，
華為超算互聯數據一體化方案破局
具備地區(qū)乃至全國的重要意義，但回過頭來看，超算互聯網也面臨過諸多挑戰(zhàn)，只有解決了這些挑戰(zhàn)，才能將超算互聯網更好地落地，這也是“數據密集型超算示范基地”揭牌的重要背景——華為帶來的技術創(chuàng)新有效應對了超算互聯網建設中關鍵的數據存儲挑戰(zhàn)。
首先，來看數據存儲對超算互聯網為何關鍵。
一方面，超算本身發(fā)展對數據存儲的要求在變強。
隨著超算產業(yè)與行業(yè)場景、新興技術的融合持續(xù)加深，高性能數據分析HPDA取代傳統(tǒng)HPC成為新的發(fā)展熱點，簡單來說，即計算的過程對數據存儲和利用要求更高，需要進行大量數據的計算處理，而非單單只看計算能力。
另一方面，超算互聯網的日常應用更多聚焦到數據上。
在超算互聯網中，算力、網絡固然重要，但它們都是可以提前布局的，實際上真正調度和流動的其實只有數據以及數據支撐上的應用。
普遍認為，超算互聯網一定會走向“數據密集型”的道路。
然后，再來看數據存儲在超算互聯網中面臨著什么挑戰(zhàn)。
“互聯”帶來算力資源統(tǒng)籌協(xié)同的正面價值，而硬幣都有兩面——多中心互聯也帶來了數據流動的“摩擦”。
這種“摩擦”，舉幾個例子：
數據管理上，各超算中心本身就是一個個數據孤島，且資源利用能力各異，不同廠商的管理技術各不相同又加劇了管理的復雜性；
在數據流動上，很多應用需求的數據量龐大（如大型天文射電望遠鏡數據量都是PB級），遠遠超過運營商網絡的帶寬上限，即便1Gb/s帶寬傳輸也需要數月才能傳輸；
在數據安全方面，跨中心大規(guī)模的數據流動相對單個中心，免不了存在更多安全隱憂，等等。
可以說，解決不了這些問題，超算互聯網很難有效落地。
最后，再來看華為的技術創(chuàng)新是如何應對這些挑戰(zhàn)的。
既然數據存儲的挑戰(zhàn)往往都來自多中心“互聯”帶來的摩擦，那么通過技術創(chuàng)新不斷降低這種摩擦、實現一體化，讓互聯模式下的數據管理、流動等與本地數據存儲一樣高效，甚至讓數據應用方感受不到“互聯”模式的存在，就成為解題的關鍵。
由此，也就不難理解華為存儲將自己為超算互聯網提供的支持定義為基于OceanStor Pacific分布式存儲的“超算互聯數據一體化方案”了。
這個方案，從四個方面消弭由于數據跨中心流動帶來的“負面”摩擦。
1、一盤棋：縱覽全局、心中有“數”
華為存儲構建了一個全局文件系統(tǒng)，把多地超算中心以一張圖的方式管理起來，這就如同看待單一超算中心的各存儲資源一樣。
為了實現這樣的效果，華為存儲進行了多方面的技術創(chuàng)新，例如，表化、流化的統(tǒng)一元數據屏蔽設備差異，實現跨設備、跨異構互聯互通等等。
2、高效率：暢通無阻的同時擁有智能向導
跨中心的數據流動面臨帶寬瓶頸，以及數據的發(fā)送、接收、利用過程中的各種技術摩擦，這些都是數據流動所難以避免的。
華為存儲針對不同場景下不同數據類型采用不同的數據壓縮算法，此外疊加熱溫冷數據智能分級，可有效節(jié)約數據存儲空間和網絡傳輸帶寬，而做到上層的應用對這一切“無感知”。
這種做法，讓數據的流動最大程度接近單一數據中心，也極大地助力了超算互聯網的綠色低碳建設，與雙碳這樣的宏觀戰(zhàn)略相契合。
3、撐場景：最大化對應用的支撐能力
最終到應用支持層面，華為存儲可以實現跨域數據協(xié)同分析，提升業(yè)務數據分析效率，從而讓超算互聯網最大程度發(fā)揮潛力、支撐起場景，落地超算互聯網應有的商業(yè)價值、社會價值。
這其中的存儲技術創(chuàng)新包括跨域協(xié)同分析、斷點續(xù)傳等。在過去，華為這些存儲技術創(chuàng)新已經有過實踐，例如支撐分別部署于廣東、貴州的大數據集群協(xié)同完成了整個大數據業(yè)務分析。
4、有保障：為數據流動加裝虛擬屏障
數據安全問題在數字經濟時代越發(fā)敏感，超算互聯網牽扯的數據面更深、更廣，在“互聯”過程中對數據安全的要求更加嚴苛。
這方面，華為存儲提供集中化的數據安全管理，通過傳輸加密并支持數據跨域等級保護，實現數據策略風險分析和監(jiān)控等等。這些做法就如同打造了一個虛擬屏障，讓跨域數據共享和安全流動實現了如同物理隔離一樣的安全效果。
總的看來，隨著“互聯”的“負面”不斷消弭，超算互聯網落地面臨的數據存儲障礙已經被掃清。
結語
數字經濟磅礴而來，無論是產業(yè)數字化轉型升級，還是城市治理能力的全面提升，亦或是高校科研院所突破重大研究課題，甚至公益環(huán)保組織推動社會的發(fā)展，超算中心都顯示出強大的商業(yè)價值、社會價值推動力。
現在，從超算到超算互聯網，計算的力量、數據的力量進一步顯現，華為存儲所推動形成的數據密集型超算模式，正在成為數字經濟堅實的底座，讓社會經濟生活的進化更加劇烈而積極。
有理由相信，在數據存儲創(chuàng)新推動下，超算互聯網將成為數字經濟發(fā)展的引擎，成為社會全面進步的驅動力之一。
本文來自微信公眾號“智能相對論”（ID:aixdlun），作者：智能科技新媒體，36氪經授權發(fā)布。
