全球最大智能模型“悟道2.0”在北京發布

　　近日，北京智源人工智能研究院在2021北京智源大會上發布超大規模智能模型“悟道2.0”。據悉，其參數規模達1.75萬億，是AI模型GPT-3的10倍，打破之前由Google Switch Transformer預訓練模型創造的1.6萬億參數紀錄，是目前中國首個、全球最大的萬億級模型。

　　智源研究院學術副院長唐杰教授介紹說，“悟道”超大模型智能模型旨在打造數據和知識雙輪驅動的認知智能，讓機器能夠像人一樣思考，實現超越圖靈測試的機器認知能力。“悟道”團隊在大規模預訓練模型研發上做了很多基礎性工作，形成自主的超大規模智能模型技術創新體系，擁有從預訓練理論技術到預訓練工具，再到預訓練模型構建和最終模型測評的完整鏈條，從技術上是完整成熟的。“悟道2.0”實現了“大而聰明”，具備大規模、高精度、高效率的特點。

　　據了解，“悟道”團隊研發的FastMoE技術，是打破國外技術瓶頸，實現“萬億模型”基石的關鍵。其研究并開源的FastMoE是首個支持PyTorch框架的MoE系統，具有簡單易用、靈活、高性能等特點，并且支持大規模并行訓練。同時，其還支持Switch、GShard等復雜均衡策略以及不同模型。（華凌）

　　轉自：中國高新技術產業導報

　　【版權及免責聲明】凡本網所屬版權作品，轉載時須獲得授權并注明來源“中國產業經濟信息網”，違者本網將保留追究其相關法律責任的權力。凡轉載文章及企業宣傳資訊，僅代表作者個人觀點，不代表本網觀點和立場。版權事宜請聯系：010-65363056。

延伸閱讀