中國電信商用智算超節點推理性能實現新突破

　　隨著人工智能業界大模型從稠密架構向以DeepSeek為代表的多專家混合模型（MoE）架構演進，基于高端智算能力的云上推理成為當前技術演進的趨勢和必然需求，高效率推理性能成為智算資源提供領先者的核心競爭力。

　　近日，中國電信廣東公司聯合中國電信研究院、華為，基于中國電信粵港澳大灣區（韶關）算力集群，上線全球首個商用昇騰超節點智算集群，采用中國電信研究院自研"翼芯"智算測試與適配優化平臺，針對多種推理場景開展了大模型性能優化及測試。通過對主流模型與超節點系統迭代適配調優，不同場景下的推理性能均實現了大幅提升；其中DeepSeek 671B滿血版模型達到單卡推理吞吐性能2122Tokens/s，刷新了業界紀錄。

　　昇騰超節點系統創新應用全總線架構，采用高速互聯技術，將384張910C智算卡緊密耦合，形成大型算力單元。該架構在大幅降低模型并行通信時延的同時，還需要解決好資源調度與并行策略設置復雜性變高的問題；需要針對不同業務場景的資源和并發策略進行靈活設置，才能最大程度發揮算力單元整體性能，將算力單元與大模型的親和度提升至最佳。

　　本次中國電信和華為合作，完成翼芯測試平臺與昇騰384卡超節點對接優化，針對13項基準性能、6類典型場景推理性能，采用5類典型資源配置開展自動化測試；同時嘗試采用算子融合替換、PD分離調度、KV cache優化、集合通信優化、并行策略優化等多維度的調優策略，不斷將吞吐性能提升到最大。經充分優化后，DeepSeek 671B模型在多種場景下的單卡吞吐性能較優化前提升2.5～4.3倍；在保證TTFT為1.28s、TPOT為50ms的服務質量指標下，單卡吞吐性能達到2122Tokens/s，較業界前期測試最佳性能提升9.2％。

　　本次超節點優化和性能指標刷新，展示了中國電信對智算系統整體優化核心技術的深刻理解與實踐創新能力。超節點可以根據客戶實際需要，靈活配置智算資源池資源，更高效地服務于復雜推理、多智能體協同等新業務場景。

　　下一階段，中國電信將開展更多場景的超節點形態優化研究和驗證測試，持續推動國產智算基礎設施建設和技術創新，全面助力人工智能產業高質量發展。（陳新豪 師春雨）

　　轉自：人民郵電報

　　【版權及免責聲明】凡本網所屬版權作品，轉載時須獲得授權并注明來源“中國產業經濟信息網”，違者本網將保留追究其相關法律責任的權力。凡轉載文章及企業宣傳資訊，僅代表作者個人觀點，不代表本網觀點和立場。版權事宜請聯系：010-65363056。

延伸閱讀