五月二十四日，人們對AI的認知有著(zhù)許多誤區和歧義，而像ChatGPT和GPT-4這樣的大型語(yǔ)言模型(LLM)卻在全球范圍內引起了極大的關(guān)注。這些功能強大的AI系統展現出迷人的魅力，但是，研究人員發(fā)現，很多人對它們的了解還只是皮毛。斯坦福大學(xué)的研究人員最近進(jìn)行了一項研究，結果表明，大型語(yǔ)言模型(LLM)具備的一些能力可能被人們誤解了。他們發(fā)現，在選擇正確的指標來(lái)評估LLM時(shí)，其所謂的“涌現能力”會(huì )消失。 這項研究揭開(kāi)了大型語(yǔ)言模型(LLM)神秘面紗，同時(shí)質(zhì)疑了“規模是創(chuàng )造更好的大型語(yǔ)言模型唯一途徑”的觀(guān)點(diǎn)。事實(shí)上，已經(jīng)有一些研究測試了大型語(yǔ)言模型(LLM)的涌現能力，該能力被定義為“在較小的模型中不存在，但在較大的模型中存在的能力”。簡(jiǎn)單來(lái)說(shuō)，機器學(xué)習模型在某些任務(wù)上表現隨意，直到其大小達到一定的閾值。然而，我們需要注意的是，只有在選擇正確的評估指標后，大型語(yǔ)言模型(LLM)才會(huì )表現出這種涌現能力；否則，它們只是一個(gè)普通的AI系統。如果你看圖1，將會(huì )發(fā)現LLM表現出的涌現能力，在一定范圍內，性能突然躍升，這進(jìn)一步說(shuō)明了該研究的重要性。

大型語(yǔ)言模型(LLM)的涌現能力一直備受矚目，研究表明在模型大小達到一定閾值之前，其完成任務(wù)的性能保持在隨機水平。然而，當模型規模變大時(shí)，它們的性能會(huì )躍升并開(kāi)始提高。研究人員對LaMDA、GPT-3、Gopher、Chinchilla和PaLM等具有1000多億個(gè)參數的大型語(yǔ)言模型(LLM)的涌現能力進(jìn)行了研究，并使用了多種測試來(lái)了解它們在處理復雜語(yǔ)言任務(wù)方面的局限性。這項新研究對大型語(yǔ)言模型(LLM)所謂的涌現能力提出了不同的看法，指出涌現能力的觀(guān)察可能是由于指標選擇引起的，而不是規模。他們發(fā)現，在衡量任務(wù)性能時(shí)，一些指標可能顯示出大規模的涌現能力，而另一些則顯示出持續的改進(jìn)。實(shí)際上，LLM模型輸出的令牌逐漸接近正確的令牌，但由于最終答案與基本事實(shí)不同，它們都被歸類(lèi)為不正確，直到它們達到所有標記都是正確的閾值。因此，如果對相同的輸出使用不同的指標，涌現能力就會(huì )消失，LLM模型的性能也會(huì )平衡提高。這項研究結果將進(jìn)一步打破大型語(yǔ)言模型(LLM)神秘光環(huán)，同時(shí)也引發(fā)了人們對于“規模是創(chuàng )造更好的大型語(yǔ)言模型唯一途徑”的觀(guān)點(diǎn)的質(zhì)疑。

研究人員最近發(fā)現，在某些情況下，大型語(yǔ)言模型(LLM)表現出的涌現能力可能是由于缺乏足夠的測試數據。他們通過(guò)創(chuàng )建更大的測試數據集來(lái)驗證這一點(diǎn)，并發(fā)現隨著(zhù)測試數據量的增加，LLM模型的性能不再呈現出不穩定性。此外，研究人員還試圖將涌現能力應用于其他類(lèi)型的深度神經(jīng)網(wǎng)絡(luò )，如卷積神經(jīng)網(wǎng)絡(luò )(CNN)，結果證明在使用非線(xiàn)性指標評估LLM模型性能時(shí)，同樣會(huì )觀(guān)察到涌現能力的出現。

這項研究得出的結論對于了解LLM性能至關(guān)重要，因為它們可以幫助我們更好地理解擴大LLM模型規模的影響。一些研究者認為規模是創(chuàng )造更好的LLM的唯一途徑，但這項研究表明，涌現能力可能是研究人員選擇的產(chǎn)物，而不是特定任務(wù)上模型的基本屬性。這個(gè)結論將有助于鼓勵研究人員探索創(chuàng )建更小的LLM的替代方案，并且還可以為實(shí)驗室投資訓練新LLM提供更好的技術(shù)衡量和預測改進(jìn)，以更好地評估更大LLM模型的效益和風(fēng)險。

盡管只有大型科技公司才能負擔得起訓練和測試大型LLM的成本，但規模較小的公司也可以對較小的模型進(jìn)行研究。有了這些指標，他們將能夠更好地探索這些較小的LLM的功能，并找到新的研究方向來(lái)改進(jìn)它們?？傊?，這項研究為我們提供了一個(gè)更加清晰的視角，幫助我們更好地了解LLM的性能，并激發(fā)了尋找創(chuàng )造更優(yōu)秀LLM模型的替代方案的動(dòng)力。