隨著大模型時代到來，模型參數(shù)呈指數(shù)級增長，已達到萬億級別。與此同時，大模型也逐漸從支持單一模態(tài)、單一任務(wù)發(fā)展為支持多種模態(tài)下的多種任務(wù)。

在這種趨勢下，大模型訓(xùn)練所需算力巨大，遠超單個芯片的處理速度，而多卡分布式訓(xùn)練通信損耗巨大。如何提高硬件資源利用率，成為影響國產(chǎn)大模型技術(shù)發(fā)展和實用性的重要前提。

在此背景下，騰訊于11月23日宣布，騰訊混元大模型背后的自研機器學(xué)習框架Angel再次升級，可將大模型訓(xùn)練效率提升至主流開源框架的2.6倍，千億級大模型訓(xùn)練可節(jié)省50%算力成本。

Angel能力提升背后，是基于訓(xùn)練框架和推理框架的迭代。據(jù)悉，面向大模型訓(xùn)練，騰訊自研了機器學(xué)習訓(xùn)練框架AngelPTM，可針對預(yù)訓(xùn)練、模型精調(diào)和強化學(xué)習等全流程進行加速和優(yōu)化，能夠以更少的資源和更快的速度訓(xùn)練更大的模型。

而為了解決推理成本的不斷上升，騰訊自研的大模型推理框架AngelHCF通過擴展并行能力、采用多種Attention優(yōu)化策略等方式對性能進行了提升。同時，框架還適配了多種壓縮算法，以提高吞吐能力，從而實現(xiàn)更快的推理性能和更低的成本。

實測數(shù)據(jù)顯示，相較于業(yè)界主流框架，AngelHCF的推理速度提高了1.3倍。在騰訊混元大模型文生圖的應(yīng)用中，推理耗時從原本的10秒縮短至3-4秒。

另外，升級后的Angel還提供了從模型研發(fā)到應(yīng)用落地的一站式平臺，包含數(shù)據(jù)處理、精調(diào)、模型評估、一鍵部署以及提示詞調(diào)優(yōu)等服務(wù)，讓大模型的“開箱即用”成為可能。

據(jù)介紹，在應(yīng)用開發(fā)層面，騰訊內(nèi)部已有超過300項業(yè)務(wù)和應(yīng)用場景接入騰訊混元大模型內(nèi)測，相比上個月數(shù)量翻了一倍。

來源：21世紀經(jīng)濟報道 作者：白楊