日本在线www-日本在线播放一区-日本在线不卡免费视频一区-日本在线不卡视频-成人影院久久久久久影院-成人影院一区二区三区

沒有人知道人工智能（Artificial Intelligence，AI）將如何改變世界，原因之一在于，沒有人真正了解這些AI的內(nèi)部運作方式。一些AI系統(tǒng)具備的能力遠遠超出了它們所受訓(xùn)練的范圍——就連它們的發(fā)明者也對此感到困惑。研究人員也在想盡辦法理解，為什么大語言模型能夠掌握那些沒人告訴過它們的知識。越來越多的測試表明，這些AI系統(tǒng)就像我們?nèi)祟惖拇竽X一樣，在自己的內(nèi)部構(gòu)建出了現(xiàn)實世界的模型——盡管它們達成的方式和我們的不同。

AI是鸚鵡學(xué)舌嗎

美國布朗大學(xué)的埃莉·帕夫利克是致力于填補這一空白的研究人員之一。帕夫利克表示：“如果我們不了解它們是如何運作的，任何想要優(yōu)化人工智能、使它變得更安全或者類似的行為，對我來說都是很荒謬的。”

從某種程度上說，帕夫利克和她的同事對“基于生成式預(yù)訓(xùn)練模型”（Generative Pre-trained Transformer，GPT）和其他類型的大型語言模型（LLM）了解得一清二楚。這些模型都依賴于一種名為“神經(jīng)網(wǎng)絡(luò)”的機器學(xué)習(xí)系統(tǒng)——它的結(jié)構(gòu)大致仿照了人腦的神經(jīng)元連接。用于構(gòu)建神經(jīng)網(wǎng)絡(luò)的程序代碼相對簡單，僅占幾個屏幕的篇幅就能建立起一種可自動更正的算法。這種算法可以統(tǒng)計分析數(shù)百GB的互聯(lián)網(wǎng)文本，再挑選出最有可能的單詞，由此生成一段內(nèi)容。一些額外訓(xùn)練還能確保系統(tǒng)以對話的形式呈現(xiàn)結(jié)果。從這個意義上說，它所做的只是重復(fù)所學(xué)到的內(nèi)容——用美國華盛頓大學(xué)語言學(xué)家埃米莉·本德的話來說，這就是一只“隨機鸚鵡”。這并不是詆毀已故的非洲灰鸚鵡亞歷克斯，它能夠理解諸如顏色、形狀和面包等概念，并且會有意地使用相應(yīng)的詞語。不過，LLM也通過了律師資格考試，并就希格斯玻色子寫了一首十四行詩，甚至還試圖破壞用戶的婚姻。鮮有人預(yù)料到，一個相當(dāng)簡單的自動更正算法可以具備如此廣泛的能力。

此外，GPT和其他AI系統(tǒng)還能執(zhí)行未經(jīng)訓(xùn)練的任務(wù)，因而會產(chǎn)生一些“涌現(xiàn)能力”（Emergent Abilities，隨模型規(guī)模增大而不可預(yù)測地出現(xiàn)的能力）。這一點甚至讓那些對LLM過度宣傳普遍持懷疑態(tài)度的研究人員也感到驚訝。美國圣菲研究所的AI研究員梅拉妮·米切爾表示：“我不知道它們是如何做到的，也不知道它們能否像人類那樣在更普遍意義上做到這一點，但現(xiàn)在的情況已經(jīng)挑戰(zhàn)了我的觀點。”

加拿大蒙特利爾大學(xué)的AI研究員約書亞·本希奧說：“它肯定比‘隨機鸚鵡’要強得多，并且確實構(gòu)建出了一些關(guān)于現(xiàn)實世界的內(nèi)部表征——盡管我認(rèn)為這和人類腦中構(gòu)建世界模型的方式不大相同。”

涌現(xiàn)能力

今年3月，在美國紐約大學(xué)舉辦的一場會議上，美國哥倫比亞大學(xué)的哲學(xué)家拉斐爾·米利埃展示了LLM另一個令人瞠目結(jié)舌的能力。我們已經(jīng)知道這些模型具備令人印象深刻的寫代碼能力，但由于網(wǎng)上有太多的代碼可以模仿，所以不足為奇。相比之下，米利埃更進一步證明，GPT也有執(zhí)行代碼的能力。這位哲學(xué)家輸入了一個用于計算斐波那契數(shù)列中第83個數(shù)字的程序。“執(zhí)行這套程序需要非常高級的多步推理，”他說。盡管AI聊天機器人似乎本不應(yīng)該能夠?qū)崿F(xiàn)此類操作，但它卻成功了。不過，當(dāng)米利埃直接問它第83個斐波那契數(shù)是多少時，它卻答錯了。這樣看來，它不僅僅是一只“隨機鸚鵡”、只能根據(jù)見過的數(shù)據(jù)輸出答案，而是可以通過執(zhí)行運算來得出答案。

盡管LLM是在計算機上運行的，但它本身并不是計算機。因為它缺乏必要的計算元素，比如工作記憶（對信息進行短時存儲和加工的記憶系統(tǒng)）。GPT被默認(rèn)自身無法運行代碼，對此它的發(fā)明者——科技公司OpenAI推出了一個專門的插件，以便使生成式預(yù)訓(xùn)練聊天機器人可以在回答問題時使用這種工具來運行代碼。不過，米利埃展示的工作并沒有使用這種插件。相反，他猜測GPT可以利用它根據(jù)上下文解釋單詞的能力，臨時創(chuàng)建一種記憶——這種行為很像自然界中的生物如何將現(xiàn)有能力重新用于實現(xiàn)新功能一樣。

這種可以臨時產(chǎn)生記憶的能力表明，LLM發(fā)展出了遠超出簡單統(tǒng)計分析的內(nèi)部復(fù)雜性。研究人員發(fā)現(xiàn)，這些系統(tǒng)似乎能夠真正理解它們所學(xué)的內(nèi)容。在今年5月舉辦的國際表征學(xué)習(xí)大會上，美國哈佛大學(xué)的博士生肯尼思·李和他的同事報告了一項研究，他們搭建了一個較小的GPT神經(jīng)網(wǎng)絡(luò)，以便研究其內(nèi)部運作。通過以文本形式輸入棋子走法，他們對它進行了數(shù)百萬場黑白棋（Othello）的比賽訓(xùn)練，從而使他們的模型成為一名近乎完美的玩家。

為了研究神經(jīng)網(wǎng)絡(luò)如何編碼信息，他們采用了來自蒙特利爾大學(xué)的本希奧和紀(jì)堯姆·阿蘭于2016年開發(fā)的一項技術(shù)。他們創(chuàng)建了一種微型“探針”網(wǎng)絡(luò)來逐層分析主網(wǎng)絡(luò)。肯尼思·李認(rèn)為這好比神經(jīng)科學(xué)中的方法，“就像把探針放入人腦一樣。”就肯尼思·李等人訓(xùn)練的AI模型而言，探針顯示它的“神經(jīng)活動”與一場黑白棋游戲的表征相匹配，不過是以卷積的形式存在。為了證實這一點，研究人員在將信息植入網(wǎng)絡(luò)時反向運行探針，例如，將棋盤游戲中的一枚黑棋翻轉(zhuǎn)成白棋。肯尼思·李表示：“從根本上說，我們侵入了這些語言模型的‘大腦’。”結(jié)果顯示，神經(jīng)網(wǎng)絡(luò)據(jù)此調(diào)整了自己的行為。研究人員推斷，它在玩黑白棋時與人類大致相同：在“腦海”中想象一個棋盤，并使用這個模型來評估可走的棋步。肯尼思·李認(rèn)為，系統(tǒng)之所以能夠?qū)W會這項技能，是因為這是對它所接受的訓(xùn)練數(shù)據(jù)的最簡潔的一種描述。“如果你有一大堆游戲腳本，那么最好的壓縮數(shù)據(jù)的方法就是嘗試找出背后的規(guī)則。”他補充道。

這種推斷外部世界結(jié)構(gòu)的能力并不局限于簡單的走棋動作，它還表現(xiàn)在對話中。麻省理工學(xué)院的研究人員利用一種文字冒險游戲研究了神經(jīng)網(wǎng)絡(luò)。他們會輸入一些語句，比如先輸入“鑰匙在寶箱里”，然后輸入“你拿走鑰匙”。利用一種探針，他們發(fā)現(xiàn)這些神經(jīng)網(wǎng)絡(luò)已經(jīng)在內(nèi)部編碼了與“寶箱”和“你”對應(yīng)的變量，每個變量都分為“有鑰匙”和“無鑰匙”這兩種情況，并且變量的值會隨輸入語句的不同而不斷更新。這個系統(tǒng)并不能獨立地理解寶箱和鑰匙的含義，但是它可以從語句中挑選出完成這項任務(wù)所需的概念。

研究人員驚嘆于LLM能夠從文本中學(xué)到如此多的內(nèi)容。例如，帕夫利克和同事發(fā)現(xiàn)，這些神經(jīng)網(wǎng)絡(luò)可以從互聯(lián)網(wǎng)的文本數(shù)據(jù)中獲得關(guān)于顏色的描述，然后構(gòu)建關(guān)于顏色的內(nèi)部表征。當(dāng)它們看到“紅色”這個詞時，不只是將它作為一個抽象符號來處理，還會把它當(dāng)作一個與栗色、深紅色、紫紅色和鐵銹色等顏色具有某種聯(lián)系的概念。想要體現(xiàn)出這一點還有些棘手。研究人員并沒有使用探針，而是研究了AI模型對一系列文本提示所作的響應(yīng)。為了檢驗AI系統(tǒng)是否只是在模仿互聯(lián)網(wǎng)上數(shù)據(jù)中不同顏色之間的關(guān)系，他們嘗試誤導(dǎo)系統(tǒng)，告訴它紅色其實是綠色。結(jié)果表明，AI系統(tǒng)并沒有照搬錯誤的答案，而是通過適當(dāng)更正輸出了正確答案。AI可以通過找到訓(xùn)練數(shù)據(jù)背后的邏輯來實現(xiàn)自我更正，對此微軟研究院的機器學(xué)習(xí)研究員塞巴斯蒂安·布貝克表示，數(shù)據(jù)范圍越廣，系統(tǒng)發(fā)現(xiàn)的規(guī)則就越普遍。

語境學(xué)習(xí)

除了提取語言的潛在含義外，LLM還能現(xiàn)學(xué)現(xiàn)用。在人工智能領(lǐng)域，“學(xué)習(xí)”一詞通常用在計算密集型的進程中，包括開發(fā)人員給神經(jīng)網(wǎng)絡(luò)提供GB級別的數(shù)據(jù)，以及修改其內(nèi)部連接。當(dāng)你向生成式預(yù)訓(xùn)練聊天機器人提出一個問題時，神經(jīng)網(wǎng)絡(luò)理應(yīng)固定不變，因為它不像人類一樣會繼續(xù)學(xué)習(xí)。但令人驚訝的是，LLM實際上可以學(xué)會根據(jù)用戶給出的提示生成與上下文相關(guān)的輸出，這種能力被稱為“上下文學(xué)習(xí)”（In-context Learning，又稱語境學(xué)習(xí)）。AI公司SingularityNET的創(chuàng)始人本·戈策爾表示：“這是一種完全不同的學(xué)習(xí)方式，此前我們并不真正了解它。”

人類與AI聊天機器人之間的交互方式是展示LLM如何學(xué)習(xí)的一個例子。你可以給系統(tǒng)舉例說明你希望它如何響應(yīng)，然后它就會服從你的指令。它的輸出取決于它看到的最后幾千個單詞，這樣的行為是由AI模型固定的內(nèi)部連接決定的——不過單詞序列提供了一定程度的可變性。整個互聯(lián)網(wǎng)都在致力于尋找讓模型“越獄”的提示詞，以此突破系統(tǒng)防護——例如，系統(tǒng)防護會阻止它告訴用戶如何制作管狀炸彈——這通常是通過引導(dǎo)模型“扮演”一個沒有防護的系統(tǒng)來實現(xiàn)的。有些人利用“越獄”來達成一些可疑意圖，而另一些人則是利用“越獄”來獲得更具創(chuàng)造性的答案。佛羅里達大西洋大學(xué)機器感知與認(rèn)知機器人實驗室聯(lián)合主任威廉·哈恩表示，與不加“越獄”提示詞而直接詢問AI科學(xué)問題相比，加了以后可以表現(xiàn)得更好，“我認(rèn)為這將能更好地解決科學(xué)問題。”換句話說，“越獄后的模型更擅長學(xué)術(shù)問題。”另一種類型的語境學(xué)習(xí)則是通過一種叫做“思維鏈”的提示方法實現(xiàn)的。這種方法要求神經(jīng)網(wǎng)絡(luò)闡明其推理過程中的每一步，從而使LLM在需要多步推理的邏輯或算術(shù)問題上做得更好。值得一提的是，米利埃的研究并沒有使用類似的提示方法，這也是它令人如此驚訝的原因之一。

2022年，由谷歌研究院和瑞士蘇黎世聯(lián)邦理工學(xué)院的研究人員組成的一支團隊發(fā)現(xiàn)，語境學(xué)習(xí)與標(biāo)準(zhǔn)學(xué)習(xí)都遵循一種名為“梯度下降法”（Gradient Descent）的基本算法——該操作是AI系統(tǒng)在沒有人類幫助下自行發(fā)現(xiàn)的。“這是AI習(xí)得的一種能力，”谷歌研究院副總裁布萊斯·阿圭拉-阿爾卡斯說。事實上，他認(rèn)為LLM可能還有其他尚未被發(fā)現(xiàn)的能力。

現(xiàn)在LLM還有相當(dāng)多的盲點，所以我們還不能把它稱為通用人工智能（AGI，具備與生物大腦類似智慧的機器），但一些研究人員認(rèn)為，它們這些涌現(xiàn)能力表明，科技公司距離AGI也許比樂觀主義者猜測的還要更近。今年3月，戈策爾在佛羅里達大西洋大學(xué)舉行的深度學(xué)習(xí)會議上說：“它們間接證明我們離AGI可能并不遙遠。”O(jiān)penAI的插件使生成式預(yù)訓(xùn)練聊天機器人具有了模塊化的架構(gòu)，與人類大腦有些類似。麻省理工學(xué)院的研究員安娜·伊萬諾娃表示：“將GPT-4（為生成式預(yù)訓(xùn)練聊天機器人提供技術(shù)支持的最新版本的LLM）與各種插件相結(jié)合，可能是一條通往AGI的途徑。”但與此同時，研究人員還擔(dān)心他們研究這些系統(tǒng)的機會窗口可能正在關(guān)閉。OpenAI沒有透露GPT-4設(shè)計和訓(xùn)練的細節(jié)，部分原因是它陷入了與谷歌等其他公司——且不說其他國家的競爭中。丹·羅伯茨是麻省理工學(xué)院的理論物理學(xué)家，主要運用專業(yè)知識來理解人工智能。羅伯茨表示：“業(yè)界公開的研究將可能會減少，而圍繞產(chǎn)品構(gòu)建的研究工作將變得更加孤立且組織化。”

缺乏透明度不只不利于研究的開展，圣菲研究所的米切爾說。它還會阻礙我們對AI熱潮所產(chǎn)生的社會影響的理解。“這些模型透明化是確保AI安全性最重要的一點。”

來源：《光明日報》