從機器人聊天到使能千行萬業的專業模型+Agent，AI技術的每一門分支、每一次飛躍都離不開算力的強有力支撐。
然而，隨著AI應用的日益廣泛與深入，一個更為現實的問題正在浮出水面——昂貴的GPU/NPU資源利用率普遍低于40%，大量算力在“空轉”中被浪費；一些中小企業與科研機構卻因算力門檻過高，難以充分受益于AI。長此以往，無疑將極大地制約AI產業發展。
在這一背景下，容器技術這個發端于云計算領域的概念，以其輕量級、可移植、易部署等特性，正從“應用封裝工具”演進為“算力調度中樞”。就在最近，華為聯合上海交通大學、西安交通大學與廈門大學發布并開源AI容器技術Flex：ai，旨在通過技術創新與生態共建，破解算力資源利用難題，進而推動AI技術的普惠。
“大家以前沒有聽到一個詞，‘讓AI從此平民化’？AI平民化不是在臺式機里裝塊4090的游戲卡就作數，而是花更少的錢、讓更多人獲益，這就是我們今天所做的事情以及努力的方向。”華為副總裁、數據存儲產品線總裁周躍峰博士告訴C114。發布會后，他攜手數位華為技術專家出席媒體圓桌，對該公司在AI容器領域的前瞻視野與深遠布局作出了詳盡解讀。
AI產業高歌猛進下的效率困境
2025年，全球AI產業繼續高歌猛進，大模型參數規模從千億邁向萬億，AI在各行各業的應用也開始步入深水區，算力需求呈指數級增長。但與之形成鮮明對比的是，算力資源的利用效率始終在低位徘徊。據統計，超過60%的頭部互聯網企業GPU利用率低于40%，在私有云化部署場景中甚至不足30%。
“小任務單卡算力用不完，大任務單機算力不夠用，多任務并發時調度無解。”周躍峰的發言一針見血。他以醫療場景舉例，一家頂級三甲醫院僅能負擔16張AI加速卡，但當多名醫生同時使用AI輔助診斷時，推理任務排隊等待時間長達數十分鐘，“這不是技術不行，是資源調度機制出了問題”。
“在學校里面，GPU是非常關鍵的，大家都需要拿來做科研，發現資源利用率會比較低，一部分原因是卡被人占用后往往需要排隊，形成了非常大的資源浪費。”上海交通大學戚正偉教授分享說，“傳統虛擬化方案要么粒度粗放，要么開銷過大，無法在異構算力環境中實現細粒度資源隔離。”
面對算力資源利用的挑戰，容器技術以其獨特的優勢成為優化資源配置的重要手段。然而，傳統容器技術在面對AI應用時，仍存在諸多不足。例如對GPU、NPU等異構算力資源的支持不夠完善，難以實現算力的精細化管理；容器間的資源隔離與性能保障機制不夠健全，容易導致任務間的相互干擾；此外，容器在跨節點、跨集群的資源調度與協同方面也存在較大局限，難以滿足AI應用對算力資源的高效利用需求。
更深層的問題在于生態封閉。英偉達通過MIG技術實現GPU切分，但其固定粒度與硬件綁定的模式限制了靈活性；被其收購的Run：ai雖在調度層有所突破，卻未徹底開源，形成“技術黑盒”且硬件兼容性嚴重受限。
顯然，AI真正由“貴族游戲”走向“平民工具”，需要找到那塊關鍵的拼圖。
Flex：ai破局：從“資源切片”到“全局調度”
針對這一系列挑戰，華為此次發布并開源的Flex：ai XPU池化與調度軟件提供了破局之道。從技術架構看，Flex：ai基于Kubernetes構建，通過對GPU、NPU等智能算力資源的精細化管理與智能調度，實現AI工作負載與算力資源的精準匹配，從而做到算力資源的“按需取用”與“細水長流”。其核心技術突破體現在三個方面：
突破一、XPU池化，讓一卡變多卡：針對“小任務占大卡”的浪費現象，華為與上海交通大學聯合研發了XPU池化框架。該技術可將單張GPU或NPU算力卡切分為多份虛擬算力單元，服務多個AI工作負載，切分粒度精準至10%。
“我們能不能把一張卡虛擬化成多張卡，讓我們以更小的算力單元進行調度，讓每一張卡的算力能力能夠充分釋放出來。”周躍峰在演講中如此闡述設計初衷。在實際測試中，該技術使得小模型推理場景下的整體算力平均利用率提升30%，顯著提高了單卡服務能力。
相比芯片原生的MIG技術只能切固定的切片，Flex：ai的軟切分更加靈活，“用多少，切多少”。華為技術專家解釋說：“我們的切片技術基于軟件，可以根據需求來切分，比如說切三份，有的占40%、有的占30%、有的占20%，彈性也更好一點。”
突破二、跨節點聚合，打破“算力孤島”：針對大量通用服務器無法服務于AI工作負載的問題，華為與廈門大學聯合研發了跨節點拉遠虛擬化技術。該技術將集群內各節點的空閑XPU算力聚合形成“共享算力池”，一方面為高算力需求的AI工作負載提供充足資源支撐；另一方面，可讓不具備智能計算能力的通用服務器通過高速網絡，可將AI工作負載轉發到遠端“資源池”中的GPU/NPU算力卡中執行。
“我們的關鍵思想是把XPU上下文從CPU的進程里面分離出來，并且進行抽象的組織和靈活映射。”廈門大學張一鳴教授闡述道，通過“多對多”與“多對一”的靈活映射，該技術有效解決了外部碎片（跨節點XPU空閑）和內部碎片（單卡算力未被充分利用）問題。
實測數據顯示，該方案相比現有最佳技術Sota，在作業中提升了67%的高優作業吞吐量，并有效利用17%的內部碎片；在大規模仿真實驗中，打破了XPU的服務范圍限制，減少了74%的外部碎片。
突破三、多級智能調度，為算力基建裝上“智慧大腦”：面對異構算力統一調度的挑戰，華為與西安交通大學共同打造了Hi Scheduler智能調度器。該調度器可自動感知集群負載與資源狀態，結合AI工作負載的優先級、算力需求等多維參數，對本地及遠端的虛擬化GPU、NPU資源進行全局最優調度，實現AI工作負載分時復用資源。
“做了分層調度后怎么把它用好，一層一層推一直到模型的服務系統里去，從上到下怎樣做有效調度？我們和華為一起進行了各種嘗試。”西安交通大學張興軍教授從體系結構角度解讀說，Hi Scheduler的創新之處在于，它通過控制命令緩沖區實現時間隔離，直接面向底層命令緩沖區進行調度與控制，有效屏蔽了API層的差異性，在可移植性與長期兼容性方面展現出顯著優勢。
生態共建：推動AI平民化加快實現
不止于技術突破，Flex：ai的價值更在于其開創的開源模式與生態定位。在Run：ai被英偉達收購并逐步封閉的背景下，華為選擇了一條截然不同的道路——開源開放，共建生態。
“如果AI只能在擁有萬張卡的企業中運行，這個泡沫終將破滅。”周躍峰在分享中多次強調了“AI平民化”愿景，希望讓中小企業甚至家庭用戶也能以更低的成本享受到AI技術帶來的便利與高效，而要實現這個愿景就必須調動起“產學研用”各方的力量。
“AI行業化落地是一件很難的事情，光靠華為公司的軟件工程師的力量是遠遠難以完成的。”他坦言，“我們更多的是希望能夠把這些軟件開源開放之后，有很多伙伴、有很多打造解決方案的公司或者集成商，他們能夠更加靈活地使用它。”
華為先前已經向外界開源開放了DCS AI全流程工具鏈與UCM推理記憶數據管理器，Flex：ai亦是沿著這一思路發展。有所不同的是，Flex：ai從一開始就是由華為與三家高校“共創”。而從更宏觀的角度，Flex：ai的開源開放也為國內的AI產業提供了另一種選擇，降低了被卡脖子的風險。
華為技術專家亦談到，Flex：ai已向開源社區開源開放了智能調度和算力虛擬化模塊，將提供標準化的通用API接口，希望后續有更多的開發者一起參與進來，共同推進算法調度處理、異構算力兼容等工作。這不僅有助于提升我國在全球AI產業中的競爭力，也將為全球AI產業的高質量發展注入強勁動能。
Flex：ai的出現，標志著AI基礎設施從“拼規模”進入到“拼效率”的新階段。通過三大核心技術的突破，它破解了算力資源利用的難題、降低了AI應用的門檻，讓AI真正從“炫技”走向“賦能”、從“情緒價值”走向“生產力價值”。而隨著技術的持續演進與生態的不斷完善，Flex：ai這樣的容器技術，或許比任何一個萬億參數的模型都更加值得期待。（蔣均牧）
轉自：C114通信網
【版權及免責聲明】凡本網所屬版權作品，轉載時須獲得授權并注明來源“中國產業經濟信息網”，違者本網將保留追究其相關法律責任的權力。凡轉載文章及企業宣傳資訊，僅代表作者個人觀點，不代表本網觀點和立場。版權事宜請聯系：010-65363056。
延伸閱讀
