經(jīng)濟觀察網(wǎng) 記者 任曉寧 “9.11和9.9誰大？”這個人類小學生都能正確回答的問題，難倒了一批大模型。7月17日上午，經(jīng)濟觀察網(wǎng)用這個問題詢問了阿里巴巴的通義、騰訊的元寶、百度的文心一言、字節(jié)跳動的豆包，以及AI創(chuàng)業(yè)公司的大模型產(chǎn)品智譜清言、百小應(yīng)、Kimi、海螺AI。8個大模型產(chǎn)品中，只有1個產(chǎn)品的回答正確。

回答錯誤的大模型產(chǎn)品，犯錯的方式并不相似，它們背后的性格也各不相同。Kimi直截了當給出了幾個字：“9.11大于9.9。”海螺AI的推理有一種荒謬感，它說，在比較整數(shù)部分時，因為9大于9，所以9.11比9.9大。

其余幾個大模型產(chǎn)品都一本正經(jīng)地分析這道題，并給出解題思路。它們的推理邏輯是正確的，但答案是錯誤的。它們都認為，應(yīng)該先比較整數(shù)部分，當整數(shù)部分相同時，則比較小數(shù)點后第一位數(shù)。

通義倒在了推理的倒數(shù)第二步，它說，9.11的第一個小數(shù)位比9.9的第一個小數(shù)位大，因此9.11大。文心一言也是同樣的邏輯，認為小數(shù)點后的第一位，1比9大。

豆包和百小應(yīng)錯在最后一步。它們說，因為1小于9，所以9.11大于9.9。

圖1：大模型產(chǎn)品的回答?

圖2：大模型產(chǎn)品的回答

為什么號稱能做奧數(shù)題的大模型，會犯這種低級錯誤？經(jīng)濟觀察網(wǎng)詢問了幾位大模型技術(shù)專家，他們的答案各不相同。

一位互聯(lián)網(wǎng)大廠大模型技術(shù)人員說，上述錯誤是大模型數(shù)學推理能力不足的體現(xiàn)。從業(yè)內(nèi)評估榜單上看，國內(nèi)大模型和國外大模型在知識型問答上差距不大，但在更難一些的數(shù)學邏輯推理能力上相差明顯。他認為，關(guān)鍵原因在于，大模型訓練數(shù)據(jù)中，語言模型對浮點數(shù)（帶有小數(shù)點的數(shù)字）的建模和理解是不到位的，因此導致了上述錯誤。

AI上市公司創(chuàng)新奇智首席技術(shù)官張發(fā)恩認為，上述錯誤與大模型的分詞機制有關(guān)，在當前大模型技術(shù)鏈條上，分詞組件（Tokenizer）是比較弱的一個環(huán)節(jié)，很多問題也是由此引發(fā)的。他舉例說，比如9.11一般會被分為3個token（處理文本的最小單元）：“9”和“.”和“11”。9.9也會被分為3個token：“9”和“.”和“9”。最后那個token的比較，容易讓大模型搞錯。

張發(fā)恩一直在訓練工業(yè)大模型，見過大模型的各種錯誤。他認為，“9.11比9.9大”這種錯誤不算大事，人是高級智能體，可以做高級戰(zhàn)略，但做三位數(shù)除法，口算一樣容易出錯，準確率不如計算器。

“隨著大模型算法和工程技術(shù)進步，通過使用大模型的規(guī)劃能力，或者智能調(diào)用專門的小工具，大模型這種錯誤會進一步減少。”張發(fā)恩說。