經(jīng)濟(jì)觀察網(wǎng) 記者 黃一帆 隨著大模型的爆火，傳統(tǒng)的Transformer架構(gòu)同時(shí)展現(xiàn)出計(jì)算復(fù)雜度高、成本壓力大等問(wèn)題，國(guó)際上已有Mamba、RWKV等非Transformer架構(gòu)大模型引起關(guān)注，國(guó)內(nèi)也誕生了基于新架構(gòu)下的大模型。

1月24日，巖山科技（002195.SZ）旗下巖芯數(shù)智發(fā)布自研大模型“Yan模型”，打出的標(biāo)簽是“非Transformer架構(gòu)”下的通用自然語(yǔ)言大模型。

巖山科技告訴記者，目前主流的大模型系列有三個(gè)：OpenAI的GPT系列、Meta的LLaMa系列、Google的PaLM系列。這三個(gè)系列都是基于Transformer架構(gòu)衍生而來(lái)。國(guó)內(nèi)的大模型基本延續(xù)了這三個(gè)系列，或是它們的一個(gè)子版本演變而來(lái)。

那么，在Transformer架構(gòu)已成為人工智能領(lǐng)域主流架構(gòu)的情況下，為什么巖芯數(shù)智還要另辟蹊徑，轉(zhuǎn)而構(gòu)建非Transformer架構(gòu)的大模型呢？

巖芯數(shù)智CEO劉凡平告訴記者，“Transformer架構(gòu)的主要問(wèn)題在于訓(xùn)練成本太高，交付成本也高，成本難以覆蓋客戶的付費(fèi)，需要降低邊際成本”。

劉凡平表示，在對(duì)Transformer模型不斷地調(diào)研和改進(jìn)過(guò)程中，公司意識(shí)到了重新設(shè)計(jì)大模型的必要性。“我們從早期的基于Transformer架構(gòu)、改進(jìn)Transformer架構(gòu)，到放棄Transformer架構(gòu)，這是一個(gè)漫長(zhǎng)的過(guò)程”。

“Yan團(tuán)隊(duì)在三年前開(kāi)始布局、落地非Transformer架構(gòu)相關(guān)的事情。在這個(gè)過(guò)程中，行業(yè)也慢慢了解到Transformer架構(gòu)機(jī)制有一些共性的缺陷，所以大家都會(huì)去研究有沒(méi)有其他的算法去優(yōu)化，甚至替代這個(gè)結(jié)構(gòu)。”巖山科技常務(wù)副總經(jīng)理、巖芯數(shù)智董事長(zhǎng)陳代千表示，“我們基于此前的實(shí)踐，確信非Transformer的路線是可行的”。

巖山科技告訴記者，巖芯數(shù)智推出的大模型在效率上，相較同等參數(shù)Transformer，擁有7倍訓(xùn)練效率、5倍推理吞吐和3倍記憶能力。

據(jù)了解，此次巖芯數(shù)智推出的是Yan1.0大模型，目前正在做Yan2.0版本。

劉凡平表示，在推出Yan1.0后，“今年會(huì)在商業(yè)化上面去工作，我們會(huì)和合作伙伴去共同推進(jìn)一些項(xiàng)目建設(shè)”。

對(duì)于Yan2.0產(chǎn)品，陳代千表示，“它肯定不僅僅是現(xiàn)在以語(yǔ)言輸入、文本輸出等形式，它應(yīng)該是比如計(jì)算機(jī)視覺(jué)、視頻甚至數(shù)字信號(hào)等全模態(tài)的內(nèi)容都可以輸入，然后我的模型也能夠以各種形態(tài)，比如說(shuō)以文字吐出、語(yǔ)音合成或者視頻、信號(hào)處理的方式吐回這個(gè)結(jié)果。我們想做的Yan 2.0，其實(shí)就是往這個(gè)方向走，做一個(gè)全模態(tài)的實(shí)時(shí)人機(jī)交互系統(tǒng)”。