繼OpenAI突然上線一款“小模型”GPT-4o mini之后，Meta決定拋出其超大參數(shù)的大模型炸場。

7月24日，Meta發(fā)布了開源大模型系列Llama 3.1 405B，以及升級后的70B和8B兩個尺寸模型。

Llama 3.1 405B被認為是當(dāng)前最強的開源大模型。根據(jù)Meta公布的信息，該模型上下文長度支持128K，增加了對八種語言的支持，在通用知識、可操控性、數(shù)學(xué)、工具使用和多語言翻譯等方面能夠與GPT-4o和Claude 3.5 sonnet等旗艦?zāi)Ｐ拖噫敲溃踔猎谌斯ぴu估（Human Evaluation）的比較中，其總體表現(xiàn)比這兩個模型更好。 

同時，8B和70B兩個型號的升級版本也是多語言的，并且都拓展到了128K上下文長度。

Llama 3.1 405B是Meta迄今為止最大的模型。Meta表示，該模型的訓(xùn)練涉及超過15萬億tokens，為了在合理時間內(nèi)達到理想效果，團隊優(yōu)化了整個訓(xùn)練堆棧，使用了超過16000個H100 GPU——這也是第一個在如此大規(guī)模算力下完成訓(xùn)練的Llama模型。

這個艱難的訓(xùn)練目標被團隊拆分為多個關(guān)鍵步驟。為了最大程度保證訓(xùn)練穩(wěn)定性，Meta沒有選擇MoE架構(gòu)（混合專家架構(gòu)），而是采用了標準僅解碼器的Transformer模型架構(gòu)進行小幅調(diào)整。

據(jù)Meta介紹，團隊也使用了迭代的后訓(xùn)練過程，對每一輪進行監(jiān)督微調(diào)和直接偏好優(yōu)化，為每個回合創(chuàng)建最高質(zhì)量的合成數(shù)據(jù)，以提高每種能力的性能。與此前版本的Llama相比，團隊提升和改進了用于訓(xùn)練前、后的數(shù)據(jù)數(shù)量和質(zhì)量。

在Llama 3.1 405B炸場的同時，馬克·扎克伯格發(fā)表了一篇題為“開源AI是前進的道路”的宣言，再次強調(diào)開源大模型的意義與價值，劍鋒直指OpenAI等走上閉源路線的大模型公司。

扎克伯格重提開源Linux與閉源Unix的故事，認為前者支持更多功能和更廣泛的生態(tài)系統(tǒng)，并且是云計算和運行大多數(shù)移動設(shè)備操作系統(tǒng)的行業(yè)標準基礎(chǔ)。“我相信人工智能也會以類似的方式發(fā)展。”

他指出，幾家科技公司在開發(fā)領(lǐng)先的閉源大模型，但開源大模型正在迅速縮小這一差距。最直接的證據(jù)是，Llama 2此前只能與落后的老一代模型相比，但Llama 3已經(jīng)可與最新模型相提并論，并在某些領(lǐng)域獲得領(lǐng)先。

他預(yù)計，從明年開始，Llama 3就能成為業(yè)內(nèi)最先進的模型——而在此之前，Llama已經(jīng)在開放性、可修改性和成本效率方面處于領(lǐng)先地位。

扎克伯格引用了很多理由闡述為什么這個世界需要開源模型，稱對開發(fā)者而言，除了更透明的開發(fā)環(huán)境以更好訓(xùn)練、微調(diào)和提煉他們自己的模型，另一個重要因素是“需要一種既高效又負擔(dān)得起的模式”。

他解釋道，對于面向用戶和離線的推理任務(wù)，開發(fā)人員可以在自己的基礎(chǔ)設(shè)施上運行Llama 3.1 405B，成本大約是GPT- 4o等閉源模型的50%。

圍繞開源、閉源兩大路線之爭，此前業(yè)界已有過多番討論，但當(dāng)時的主要基調(diào)在于，兩者各有價值，開源能夠以高性價比的方式惠及廣大開發(fā)者，并且有利于大語言模型自身的技術(shù)迭代與發(fā)展，而閉源能夠集中資源更快、更深突破性能瓶頸，比開源更有望率先達成AGI（通用人工智能）。

換句話說，業(yè)界普遍認為，在模型的性能水平上，開源很難追上閉源。而Llama 3.1 405B的出現(xiàn)或許會讓行業(yè)重新思考這一結(jié)論，很可能將影響一大批已經(jīng)傾向于使用閉源模型服務(wù)的企業(yè)和開發(fā)者群體。

目前，Meta的生態(tài)圈已經(jīng)非常龐大。Llama 3.1模型上線后，超過25個合作伙伴將提供相關(guān)服務(wù)，包括亞馬遜AWS、英偉達、Databricks、Groq、戴爾、微軟Azure和谷歌云等。

只是扎克伯格對于Llama系列模型處于領(lǐng)先地位的預(yù)期是明年，不排除中間有再被閉源模型掀翻屋頂?shù)目赡堋Ｔ诖似陂g，外界可能會紛紛關(guān)注到那些性能水平趕不上Llama 3.1 405B的閉源大模型，它們當(dāng)前的處境的確有些尷尬。

他還特別談及中國與美國在大模型領(lǐng)域的競爭，認為美國在這方面永遠領(lǐng)先中國數(shù)年是不現(xiàn)實的。但即使是幾個月的微小領(lǐng)先，也會隨著時間的推移而“積少成多”，從而使美國獲得“明顯優(yōu)勢”。

“美國的優(yōu)勢是去中心化和開放式創(chuàng)新。有些人認為，我們必須封閉我們的模式，以防止中國獲得這些模式，但我認為這行不通，只會讓美國及其盟友處于不利地位。”在扎克伯格看來，一個只有封閉模式的世界，會導(dǎo)致少數(shù)大公司和地緣政治對手能夠獲得領(lǐng)先的模式，而初創(chuàng)公司、大學(xué)和小企業(yè)則錯失機會。此外，將美國創(chuàng)新限制在封閉開發(fā)中，增加了完全無法領(lǐng)先的可能性。

“相反，我認為我們最好的策略是建立一個強大的開放生態(tài)系統(tǒng)，讓我們的領(lǐng)先公司與政府和盟友密切合作，以確保他們能夠最好地利用最新進展，并在長期內(nèi)實現(xiàn)可持續(xù)的先發(fā)優(yōu)勢。”扎克伯格表示。

轉(zhuǎn)載來源：界面新聞 作者：伍洋宇