相較于英偉達(dá)、微軟等大型科技股,蘋果今年的表現(xiàn)令人失望不已,股價年內(nèi)跌逾10%,且失去了“全球市值最高公司”的寶座。
背后原因很簡單,蘋果在這場人工智能(AI)競賽中落伍了。為了擺脫窘境,蘋果近期放棄了造車項目,正在全面轉(zhuǎn)向生成式AI領(lǐng)域,并且很快有了新動作。
就在近日,蘋果公司研發(fā)團(tuán)隊發(fā)布了一篇論文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》,首次公布了多模態(tài)大模型MM1,展示了該公司在AI方面的進(jìn)展與實力。
據(jù)悉,MM1最高參數(shù)量為300億,該模型支持增強(qiáng)的上下文學(xué)習(xí)和多圖像推理,在一些多模態(tài)基準(zhǔn)測試中有較好表現(xiàn)。
研究人員使用這些模型進(jìn)行實驗,找出影響大模型表現(xiàn)的關(guān)鍵因素。有趣的是,圖像分辨率和圖像標(biāo)簽數(shù)量比視覺語言連接器的影響更大,不同的預(yù)訓(xùn)練數(shù)據(jù)集會顯著影響模型的有效性。
MM1的獨(dú)特之處在于其龐大的規(guī)模和架構(gòu)創(chuàng)新,包括密集的模型和混合專家模型。這些模型證明了研究人員方法的有效性,將大規(guī)模預(yù)訓(xùn)練與戰(zhàn)略性數(shù)據(jù)選擇相結(jié)合,以增強(qiáng)模型的學(xué)習(xí)能力。
研發(fā)團(tuán)隊稱,MM1不僅在預(yù)訓(xùn)練指標(biāo)中是“最先進(jìn)的”,并且在一系列已建立的多模態(tài)基準(zhǔn)測試中,經(jīng)過微調(diào)后也保持了“有競爭力的”性能。
MM1可以支持增強(qiáng)的上下文學(xué)習(xí)和多圖像推理,使得少數(shù)樣本的思維鏈提示成為可能。
然而,目前MM1的整體性能還沒有完全超過谷歌的Gemini和OpenAI的GPT-4,雖然MM1可能還不是絕對的領(lǐng)導(dǎo)者,但它仍然是蘋果在AI方面的一次重大飛躍。
與此同時,蘋果公司還出手收購了AI初創(chuàng)公司DarwinAI。DarwinAI以創(chuàng)建更小、更快的AI系統(tǒng)見長,這是實現(xiàn)設(shè)備上高效處理的關(guān)鍵因素。收購?fù)瓿珊螅珼arwinAI的網(wǎng)站和社交媒體賬戶已悄然下線。
據(jù)悉,數(shù)十名DarwinAI員工已經(jīng)加入了蘋果的AI部門,作為交易的一部分,滑鐵盧大學(xué)的AI研究員Alexander Wong已加入蘋果,擔(dān)任AI團(tuán)隊的總監(jiān)。
轉(zhuǎn)載來源:財聯(lián)社 作者:牛占林