沒有人知道人工智能（Artificial Intelligence，AI）將如何改變世界，原因之一在于，沒有人真正了解這些AI的內部運作方式。一些AI系統具備的能力遠遠超出了它們所受訓練的范圍——就連它們的發明者也對此感到困惑。研究人員也在想盡辦法理解，為什么大語言模型能夠掌握那些沒人告訴過它們的知識。越來越多的測試表明，這些AI系統就像我們人類的大腦一樣，在自己的內部構建出了現實世界的模型——盡管它們達成的方式和我們的不同。
AI是鸚鵡學舌嗎
美國布朗大學的埃莉·帕夫利克是致力于填補這一空白的研究人員之一。帕夫利克表示：“如果我們不了解它們是如何運作的，任何想要優化人工智能、使它變得更安全或者類似的行為，對我來說都是很荒謬的。”
從某種程度上說，帕夫利克和她的同事對“基于生成式預訓練模型”（Generative Pre-trained Transformer，GPT）和其他類型的大型語言模型（LLM）了解得一清二楚。這些模型都依賴于一種名為“神經網絡”的機器學習系統——它的結構大致仿照了人腦的神經元連接。用于構建神經網絡的程序代碼相對簡單，僅占幾個屏幕的篇幅就能建立起一種可自動更正的算法。這種算法可以統計分析數百GB的互聯網文本，再挑選出最有可能的單詞，由此生成一段內容。一些額外訓練還能確保系統以對話的形式呈現結果。從這個意義上說，它所做的只是重復所學到的內容——用美國華盛頓大學語言學家埃米莉·本德的話來說，這就是一只“隨機鸚鵡”。這并不是詆毀已故的非洲灰鸚鵡亞歷克斯，它能夠理解諸如顏色、形狀和面包等概念，并且會有意地使用相應的詞語。不過，LLM也通過了律師資格考試，并就希格斯玻色子寫了一首十四行詩，甚至還試圖破壞用戶的婚姻。鮮有人預料到，一個相當簡單的自動更正算法可以具備如此廣泛的能力。
此外，GPT和其他AI系統還能執行未經訓練的任務，因而會產生一些“涌現能力”（Emergent Abilities，隨模型規模增大而不可預測地出現的能力）。這一點甚至讓那些對LLM過度宣傳普遍持懷疑態度的研究人員也感到驚訝。美國圣菲研究所的AI研究員梅拉妮·米切爾表示：“我不知道它們是如何做到的，也不知道它們能否像人類那樣在更普遍意義上做到這一點，但現在的情況已經挑戰了我的觀點。”
加拿大蒙特利爾大學的AI研究員約書亞·本希奧說：“它肯定比‘隨機鸚鵡’要強得多，并且確實構建出了一些關于現實世界的內部表征——盡管我認為這和人類腦中構建世界模型的方式不大相同。”
涌現能力
今年3月，在美國紐約大學舉辦的一場會議上，美國哥倫比亞大學的哲學家拉斐爾·米利埃展示了LLM另一個令人瞠目結舌的能力。我們已經知道這些模型具備令人印象深刻的寫代碼能力，但由于網上有太多的代碼可以模仿，所以不足為奇。相比之下，米利埃更進一步證明，GPT也有執行代碼的能力。這位哲學家輸入了一個用于計算斐波那契數列中第83個數字的程序。“執行這套程序需要非常高級的多步推理，”他說。盡管AI聊天機器人似乎本不應該能夠實現此類操作，但它卻成功了。不過，當米利埃直接問它第83個斐波那契數是多少時，它卻答錯了。這樣看來，它不僅僅是一只“隨機鸚鵡”、只能根據見過的數據輸出答案，而是可以通過執行運算來得出答案。
盡管LLM是在計算機上運行的，但它本身并不是計算機。因為它缺乏必要的計算元素，比如工作記憶（對信息進行短時存儲和加工的記憶系統）。GPT被默認自身無法運行代碼，對此它的發明者——科技公司OpenAI推出了一個專門的插件，以便使生成式預訓練聊天機器人可以在回答問題時使用這種工具來運行代碼。不過，米利埃展示的工作并沒有使用這種插件。相反，他猜測GPT可以利用它根據上下文解釋單詞的能力，臨時創建一種記憶——這種行為很像自然界中的生物如何將現有能力重新用于實現新功能一樣。
這種可以臨時產生記憶的能力表明，LLM發展出了遠超出簡單統計分析的內部復雜性。研究人員發現，這些系統似乎能夠真正理解它們所學的內容。在今年5月舉辦的國際表征學習大會上，美國哈佛大學的博士生肯尼思·李和他的同事報告了一項研究，他們搭建了一個較小的GPT神經網絡，以便研究其內部運作。通過以文本形式輸入棋子走法，他們對它進行了數百萬場黑白棋（Othello）的比賽訓練，從而使他們的模型成為一名近乎完美的玩家。
為了研究神經網絡如何編碼信息，他們采用了來自蒙特利爾大學的本希奧和紀堯姆·阿蘭于2016年開發的一項技術。他們創建了一種微型“探針”網絡來逐層分析主網絡。肯尼思·李認為這好比神經科學中的方法，“就像把探針放入人腦一樣。”就肯尼思·李等人訓練的AI模型而言，探針顯示它的“神經活動”與一場黑白棋游戲的表征相匹配，不過是以卷積的形式存在。為了證實這一點，研究人員在將信息植入網絡時反向運行探針，例如，將棋盤游戲中的一枚黑棋翻轉成白棋。肯尼思·李表示：“從根本上說，我們侵入了這些語言模型的‘大腦’。”結果顯示，神經網絡據此調整了自己的行為。研究人員推斷，它在玩黑白棋時與人類大致相同：在“腦海”中想象一個棋盤，并使用這個模型來評估可走的棋步。肯尼思·李認為，系統之所以能夠學會這項技能，是因為這是對它所接受的訓練數據的最簡潔的一種描述。“如果你有一大堆游戲腳本，那么最好的壓縮數據的方法就是嘗試找出背后的規則。”他補充道。
這種推斷外部世界結構的能力并不局限于簡單的走棋動作，它還表現在對話中。麻省理工學院的研究人員利用一種文字冒險游戲研究了神經網絡。他們會輸入一些語句，比如先輸入“鑰匙在寶箱里”，然后輸入“你拿走鑰匙”。利用一種探針，他們發現這些神經網絡已經在內部編碼了與“寶箱”和“你”對應的變量，每個變量都分為“有鑰匙”和“無鑰匙”這兩種情況，并且變量的值會隨輸入語句的不同而不斷更新。這個系統并不能獨立地理解寶箱和鑰匙的含義，但是它可以從語句中挑選出完成這項任務所需的概念。
研究人員驚嘆于LLM能夠從文本中學到如此多的內容。例如，帕夫利克和同事發現，這些神經網絡可以從互聯網的文本數據中獲得關于顏色的描述，然后構建關于顏色的內部表征。當它們看到“紅色”這個詞時，不只是將它作為一個抽象符號來處理，還會把它當作一個與栗色、深紅色、紫紅色和鐵銹色等顏色具有某種聯系的概念。想要體現出這一點還有些棘手。研究人員并沒有使用探針，而是研究了AI模型對一系列文本提示所作的響應。為了檢驗AI系統是否只是在模仿互聯網上數據中不同顏色之間的關系，他們嘗試誤導系統，告訴它紅色其實是綠色。結果表明，AI系統并沒有照搬錯誤的答案，而是通過適當更正輸出了正確答案。AI可以通過找到訓練數據背后的邏輯來實現自我更正，對此微軟研究院的機器學習研究員塞巴斯蒂安·布貝克表示，數據范圍越廣，系統發現的規則就越普遍。
語境學習
除了提取語言的潛在含義外，LLM還能現學現用。在人工智能領域，“學習”一詞通常用在計算密集型的進程中，包括開發人員給神經網絡提供GB級別的數據，以及修改其內部連接。當你向生成式預訓練聊天機器人提出一個問題時，神經網絡理應固定不變，因為它不像人類一樣會繼續學習。但令人驚訝的是，LLM實際上可以學會根據用戶給出的提示生成與上下文相關的輸出，這種能力被稱為“上下文學習”（In-context Learning，又稱語境學習）。AI公司SingularityNET的創始人本·戈策爾表示：“這是一種完全不同的學習方式，此前我們并不真正了解它。”
人類與AI聊天機器人之間的交互方式是展示LLM如何學習的一個例子。你可以給系統舉例說明你希望它如何響應，然后它就會服從你的指令。它的輸出取決于它看到的最后幾千個單詞，這樣的行為是由AI模型固定的內部連接決定的——不過單詞序列提供了一定程度的可變性。整個互聯網都在致力于尋找讓模型“越獄”的提示詞，以此突破系統防護——例如，系統防護會阻止它告訴用戶如何制作管狀炸彈——這通常是通過引導模型“扮演”一個沒有防護的系統來實現的。有些人利用“越獄”來達成一些可疑意圖，而另一些人則是利用“越獄”來獲得更具創造性的答案。佛羅里達大西洋大學機器感知與認知機器人實驗室聯合主任威廉·哈恩表示，與不加“越獄”提示詞而直接詢問AI科學問題相比，加了以后可以表現得更好，“我認為這將能更好地解決科學問題。”換句話說，“越獄后的模型更擅長學術問題。”另一種類型的語境學習則是通過一種叫做“思維鏈”的提示方法實現的。這種方法要求神經網絡闡明其推理過程中的每一步，從而使LLM在需要多步推理的邏輯或算術問題上做得更好。值得一提的是，米利埃的研究并沒有使用類似的提示方法，這也是它令人如此驚訝的原因之一。
2022年，由谷歌研究院和瑞士蘇黎世聯邦理工學院的研究人員組成的一支團隊發現，語境學習與標準學習都遵循一種名為“梯度下降法”（Gradient Descent）的基本算法——該操作是AI系統在沒有人類幫助下自行發現的。“這是AI習得的一種能力，”谷歌研究院副總裁布萊斯·阿圭拉-阿爾卡斯說。事實上，他認為LLM可能還有其他尚未被發現的能力。
現在LLM還有相當多的盲點，所以我們還不能把它稱為通用人工智能（AGI，具備與生物大腦類似智慧的機器），但一些研究人員認為，它們這些涌現能力表明，科技公司距離AGI也許比樂觀主義者猜測的還要更近。今年3月，戈策爾在佛羅里達大西洋大學舉行的深度學習會議上說：“它們間接證明我們離AGI可能并不遙遠。”OpenAI的插件使生成式預訓練聊天機器人具有了模塊化的架構，與人類大腦有些類似。麻省理工學院的研究員安娜·伊萬諾娃表示：“將GPT-4（為生成式預訓練聊天機器人提供技術支持的最新版本的LLM）與各種插件相結合，可能是一條通往AGI的途徑。”但與此同時，研究人員還擔心他們研究這些系統的機會窗口可能正在關閉。OpenAI沒有透露GPT-4設計和訓練的細節，部分原因是它陷入了與谷歌等其他公司——且不說其他國家的競爭中。丹·羅伯茨是麻省理工學院的理論物理學家，主要運用專業知識來理解人工智能。羅伯茨表示：“業界公開的研究將可能會減少，而圍繞產品構建的研究工作將變得更加孤立且組織化。”
缺乏透明度不只不利于研究的開展，圣菲研究所的米切爾說。它還會阻礙我們對AI熱潮所產生的社會影響的理解。“這些模型透明化是確保AI安全性最重要的一點。”
來源：《光明日報》
