近期，中國電信研究院成功完成行業首個大模型多方協同隱私訓練試驗。該試驗依托中國電信云網融合大科創裝置的智算資源，通過自主研發的大模型多方協同隱私訓練技術，在保障原始數據不出域的條件下，成功完成了多方協同的大模型訓練，為推動數據要素的安全流通與價值釋放提供了堅實的技術支撐。
本次試驗賦能大模型研發全流程的高智能、高安全與高可用。基于該訓練框架開展大模型多方協同隱私訓練得到的全局模型，能夠獲得接近集中訓練的模型的性能表現。本次試驗在大模型訓練領域實現的重要突破主要體現在以下維度：
一是構建多方管理控制、多機多卡訓練和一鍵啟動機制，實現多方參與下的高效協同訓練。多方管理控制負責協調多方之間的通信、存儲和任務管理；多機多卡訓練機制支持參與方內部多機多卡訓練及靈活使用不同訓練資源；一鍵啟動機制通過配置文件統一啟動訓練，提升訓練的自動化水平。
二是構建模型融合策略，實現全局模型的參數聚合，提升模型泛化能力。模型融合策略支持FedAvg、Fed-Prox、FedAdam、FedAdagrad等多種算法，可通過配置文件靈活選擇并調整融合策略及其參數。
三是構建數據切分策略，實現訓練數據的靈活配置與高效利用。通過數據切分策略，方便調整每輪訓練的數據量，支持按固定大小、百分比、最大數據量、數據總量及可用顯存等多種方式進行切分，可通過配置文件便捷選擇并調整切分策略及其參數。
四是構建數據保護機制，實現大模型多方訓練過程中的數據保護。通過引入差分隱私實現對訓練數據的隱私保護，支持多種隱私保護策略，包括服務器端裁剪與客戶端裁剪等，可通過配置文件靈活選擇差分隱私策略并調整參數配置。
未來，項目組將持續深化大模型多方協同隱私訓練的技術創新與場景應用落地，加快技術成果的生態共建。同時，聚焦金融、醫療、司法等重點行業需求，深化技術賦能與場景適配，為釋放數據要素潛能和加速人工智能產業升級提供堅實支撐。（翼研）
轉自：人民郵電報
【版權及免責聲明】凡本網所屬版權作品，轉載時須獲得授權并注明來源“中國產業經濟信息網”，違者本網將保留追究其相關法律責任的權力。凡轉載文章及企業宣傳資訊，僅代表作者個人觀點，不代表本網觀點和立場。版權事宜請聯系：010-65363056。
延伸閱讀
