近日，企業級全棧 AI 基礎設施公司星流計算（NovuInfra）正式發布《Agent Native Compute：面向企業 Agent 時代的新一代 AI 計算基礎設施》白皮書，系統披露 NovuWing?技術架構。目前，ShareKV 雙組件已跑通：KV Cache 命中率超 80%，中位 TTFT 降至基線 20% 以下。
它關注的不是如何再提升一次模型推理的峰值性能，而是一個更現實的問題：當企業同時運行幾十個、上百個 Agent，如何讓它們長期保持上下文、頻繁喚醒與協同，又不讓 GPU、HBM 和整體成本失控？
從“計算墻”走向“內存墻”
Agent 在 Active、Idle、Deep-Idle 和 Recovering 等狀態之間不斷切換，并持續保存上下文、KV Cache 與可恢復運行狀態。若這些數據長期駐留 HBM，昂貴的高帶寬資源會被低活躍狀態占用；若直接釋放，Agent 再次喚醒時又要重新計算。為此，NovuWing? 構建三級智能內存：L0 HBM 承載活躍 KV Cache；L1 DDR 保存短期閑置、可能快速復用的狀態；L1.5 CXL.mem / NVMe 承載低活躍 KV Cache、上下文快照與暫停 Agent 狀態。數據隨生命周期分層流動，Agent 激活時再按需預取和恢復。
關鍵不只是分層，而是理解 Agent
傳統緩存調度通常依據訪問熱度或顯存壓力。NovuWing?進一步引入 Agent 語義：系統判斷數據屬于哪個 Agent 與 Session、當前處于什么狀態，以及遷移、加載或重算的恢復成本。Agent Runtime 通過 agent-id、session-id 與 tier hint 把策略傳遞給推理框架和內存體系，使緩存管理從“顯存不夠再換出”轉向“依據 Agent 狀態主動遷移與預取”。
為把這套機制落到工程系統，星流計算自主開發 ShareKVConnector 與 ShareKVSidecar。前者運行在 vLLM 推理實例側，銜接 GPU/HBM 與 L1+L1.5 共享內存，并執行 KV Cache 遷移、預取與恢復；后者作為宿主機共享服務，統一管理 DDR 共享內存池與 CXL.mem（或 NVMe）池，為多個推理實例提供共享 KV 服務。兩者通過共享內存和異步 I/O 建立 HBM、DDR、CXL.mem（或NVMe）之間的數據通路，減少額外拷貝與遷移開銷。
階段性基線結果進一步驗證了這條技術路徑：在當前企業 Agent 場景測試中，KV Cache 命中率超過 80%，中位首 Token 時延（TTFT）降至基線的 20% 以下。前者減少了可復用上下文的重復計算，后者直接縮短首 Token 等待時間，表明 Agent 語義調度與 ShareKV 分層機制已開始轉化為可感知的效率收益。
從白皮書到產品：關鍵鏈路跑通，效率收益開始顯現
目前，相關能力已在玄矩?A1 與 SerpMind? 產品體系中完成貫通。玄矩 A1 提供計算與三級內存底座，Agent Runtime 負責生命周期和資源調度，SerpMind Enterprise Agent OS 提供 Agent 的創建、運行與治理。圍繞核心機制，星流計算已提交發明專利申請《基于 Agent 語義的三級分層 KV 緩存智能調度方法及系統》，申請號：202611065591.X。
讓算力從“可用”走向“經濟可用”
星流計算將這一邏輯稱為算力經濟學：企業不應只比較峰值 FLOPS 和采購價格，還要考察 Agent Throughput、KV Cache 效率、Cost per Agent、Cost per Task 與 TCO。把帶寬留給 HBM、把容量放到更合適的層級，再由 Agent 語義決定數據何時流動，本質上是讓每一份昂貴算力投入承載更多有效智能。
對國產算力而言，這意味著創新正從芯片、板卡和服務器的單點性能，擴展到 CPU、GPU、內存、推理框架與 Runtime 的系統級協同。只有“算得起、跑得久、管得住”，多 Agent 才能真正進入企業生產。上述兩項數據為當前企業 Agent 場景的階段性基線結果；完整模型、上下文長度、并發規模、硬件配置及標準化 Benchmark 與 TCO 數據，將在完成可重復驗證后獨立發布。
轉自：千龍網
【版權及免責聲明】凡本網所屬版權作品，轉載時須獲得授權并注明來源“中國產業經濟信息網”，違者本網將保留追究其相關法律責任的權力。凡轉載文章及企業宣傳資訊，僅代表作者個人觀點，不代表本網觀點和立場。版權事宜請聯系：010-65363056。
延伸閱讀
