大數據存算分離成趨勢 華為加碼布局

　　數字經濟時代，數據成為新的生產資料，數據驅動體驗、數據驅動決策、數據驅動流程的各種應用正不斷上演。伴隨5G、AI等技術的發展，數據量將迎來爆發式增長，這一形勢下，傳統大數據存算一體架構，面臨不小沖擊。

　　“計算存算分離是大數據架構演進的必然趨勢，也是解決行業用戶數據痛點的一大利器。計算和存儲是兩套獨立的集群，把存儲從原來的系統中剝離出來形成獨立的存儲集群，可以按需投資，要多少計算買多少計算，要多少存儲買多少存儲，避免浪費，提高分析效率。”在8月26日召開的2020（第五屆）大數據產業生態大會上，華為技術有限公司海量存儲領域副總裁徐強接受中國工業報采訪時表示。

　　在徐強看來，分布式架構的專業存儲更適合企業級市場，不僅能實現統一的存儲資源池和靈活的擴展，還能讓用戶享受更專業的存儲，更佳的可靠性和利用率。“伴隨中國制造業數字化轉型的深化，年底工業領域占整體分布式存儲的份額有望提升至30%。”徐強透露。
 
　　大數據架構走向存算分離

　　存算分離正成為大數據架構演進的重要趨勢。

　　“5G、云、AI加速行業數字化轉型，海量數據時代已經到來。海量數據促使企業從數據管理走向數據運營，正面臨成本高、存不下；效率低、流不動；自動化差、管不好三大挑戰。”徐強分析。

　　Hadoop1.0時代，計算和存儲是高度融合，僅能處理單一的MapReduce分析業務；Hadoop2.0時代，計算層與數據開始解耦，通過Yarn實現了獨立的資源管理，并開始支持Spark等更多的計算引擎；而如今來到Hadoop3.0時代，計算存儲已分開演進，通過Hadoop EC來支持冷數據的存儲，同時引入外置存儲，如S3，增強其存儲底座能力，逐步向數據湖架構演進。

　　“Hadoop3.0時代，計算正向輕量化和容器化方向發展，計算存儲分離演進已成為事實。計算存儲分離后，我們用企業級的存儲基座替代原來的原生大數據存儲基座，好處是可以把當前企業級存儲的先進技術帶入到大數據里面來，如高可靠、高利用率、多協議融合等，更好地釋放數據的價值。”徐強表示。

　　資料顯示，華為從2002年涉足存儲技術研究，十幾年來不斷提升自主研發能力和核心競爭力，截至2018年底，存儲產品已經服務于全球150多個國家的超過9000家客戶。存儲產業經過幾十年的發展，衍生出各種各樣的存儲產品，滿足了企業應用的各種訴求。

　　2018年，華為創新性推出基于OceanStor Pacific系列的大數據存算分離方案。在成本方面，華為大數據存算分離方案實現存算分離，資源按需獨立擴展，彈性EC、冷熱數據分級，存儲成本大幅降低。在數據應用效率方面，華為OceanStor Pacific系列采用全對稱分布式NameNode，集群性能和支持文件數隨節點數目增加線性提升，單一命名空間支持文件數達百億級。在實際操作運維方面，華為OceanStor Pacific系列提供的原生HDFS接口提供了更佳性能和使用體驗。通過ViewFS或Hbase元數據網關方式可實現新老共存，實現存算一體向存算分離的平滑演進，保護用戶已有投資。

　　據徐強透露，華為投入數百人力專門設計開發了大數據存儲系統，目的就是提供和原有開源的大數據底座一模一樣的能力，以無損的方式提供大數據存算分離的技術能力。可喜的是，自去年以來，華為大數據存算分離方案已逐步落地應用在電信、金融、政務等各個領域，正幫助千行百業降低數據存儲成本，提升數據分析效率，加速數據價值釋放。
 
　　工業領域分布式存儲份額年底有望達三成

　　華為基于OceanStor Pacific系列的大數據存算分離方案發布兩年來，在各行業取得的實踐效果日漸顯現。

　　今年7月，中國聯通基于華為 OceanStor Pacific 海量存儲的大數據平臺正式上線，標志著中國聯通和華為技術有限公司在大數據計算存儲分離架構的規模化技術創新方面取得了全面突破。華為大數據存算分離方案打破了傳統大數據平臺計算存儲緊耦合的部署架構，使的大數據平臺建設的成本得到了很大的降低。這一方案的創新在于首次嘗試使用另一種更加高效的方式來解決大數據存儲方案，且通過存儲層全分布式架構和協議融合互通的高效性，從而提升數據分析效率。

　　據徐強介紹，華為的海量存儲在制造業中的主要應用場景是高性能計算。例如，車企的自動駕駛場景，每輛汽車每天的訓練數據接近100TB，每天有幾百上千輛汽車要做訓練，從而催生海量的數據。

　　此外，芯片設計制造、氣象衛星和石油勘探等行業，也會涉及高性能計算，對海量存儲的需求也較大。

　　“工業領域適合用分布式存儲的場景，主要有兩大類，第一類是數據量特別大的，傳統的存儲搞不定，因為傳統存儲之間是獨立的，數據沒法共享。只有海量存儲才能把數據池做的足夠大，例如自動駕駛。第二類是對數據訪問有高性能需求的，如芯片設計。芯片設計過程中，都需要對數據進行快速的、對時延要求非常高的訪問，所以對分布式海量存儲也有需求。”徐強分析。

　　據其預測，盡管當前工業領域的分布式存儲占整個分布式存儲的比例不到20%，鑒于工業領域旺盛的市場需求，這一占比年底前有望提至三成。

　　“還應看到，在國內做分布式存儲的廠家較多，但水平參差不齊。很多廠商基于開源軟件涉足，加之云服務轉型也在對分布式存儲產生沖擊，整個分布式存儲產業面臨的各方壓力依然不小。”徐強提醒。（中國工業報 余娜）

　　轉自：中國工業新聞網

　　【版權及免責聲明】凡本網所屬版權作品，轉載時須獲得授權并注明來源“中國產業經濟信息網”，違者本網將保留追究其相關法律責任的權力。凡轉載文章及企業宣傳資訊，僅代表作者個人觀點，不代表本網觀點和立場。版權事宜請聯系：010-65363056。

延伸閱讀