硅谷巨頭如谷歌、蘋(píng)果和臉譜都在通過(guò)訓(xùn)練模擬人腦的神經(jīng)網(wǎng)絡(luò)模型來(lái)發(fā)展人工智能技術(shù)。據(jù)美國(guó)電氣和電子工程師協(xié)會(huì)《光譜》網(wǎng)站報(bào)道，美國(guó)田納西州的數(shù)字推理公司近日宣布，已建成一個(gè)包含1600億參數(shù)的神經(jīng)網(wǎng)絡(luò)模型——比之前的至少大10倍。
這一神經(jīng)網(wǎng)絡(luò)模型輕而易舉地刷新了之前的紀(jì)錄：谷歌和美國(guó)勞倫斯?利弗莫爾國(guó)家實(shí)驗(yàn)室的神經(jīng)網(wǎng)絡(luò)模型分別包含112億參數(shù)和150億參數(shù)。此外，數(shù)字推理公司的神經(jīng)網(wǎng)絡(luò)模型在應(yīng)對(duì)含有2萬(wàn)個(gè)詞語(yǔ)類(lèi)比的行業(yè)標(biāo)準(zhǔn)數(shù)據(jù)集時(shí)，也表現(xiàn)出更好的精確性：86%的正確率，遠(yuǎn)高于谷歌神經(jīng)網(wǎng)絡(luò)模型創(chuàng)下的76%正確率的紀(jì)錄。
數(shù)字推理公司首席技術(shù)官馬修?拉塞爾在新聞發(fā)布會(huì)上表示:“我們對(duì)這一神經(jīng)網(wǎng)絡(luò)模型創(chuàng)造的成績(jī)和對(duì)人工智能深度學(xué)習(xí)所做的貢獻(xiàn)感到非常驕傲。”
近幾年，由于機(jī)器學(xué)習(xí)技術(shù)取得眾多突破性進(jìn)展，人工智能領(lǐng)域正在經(jīng)歷一輪“復(fù)興”。其中備受重視的機(jī)器學(xué)習(xí)策略是增強(qiáng)學(xué)習(xí)。運(yùn)用這種策略，電腦程序通過(guò)反復(fù)試錯(cuò)可以得知什么樣的行為可以獲得獎(jiǎng)勵(lì)，但是電腦程序在處理接近現(xiàn)實(shí)世界難度的數(shù)據(jù)時(shí)往往力不從心。為了對(duì)其進(jìn)行升級(jí)，研發(fā)人員將增強(qiáng)學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)技術(shù)結(jié)合起來(lái)，這就是所謂的深度學(xué)習(xí)策略。
深度學(xué)習(xí)涉及對(duì)機(jī)器人構(gòu)建五層或更多層的人工神經(jīng)網(wǎng)絡(luò)，這里的深度指的是神經(jīng)網(wǎng)絡(luò)的層數(shù)而不是知識(shí)的深度。在神經(jīng)網(wǎng)絡(luò)模型中，所有人工神經(jīng)元都會(huì)接入數(shù)據(jù)庫(kù)并共同解決問(wèn)題，例如閱讀書(shū)寫(xiě)筆跡或辨認(rèn)講話內(nèi)容。神經(jīng)網(wǎng)絡(luò)模型可以通過(guò)改變神經(jīng)元之間的連接方式來(lái)調(diào)整它們之間的互動(dòng)并繼續(xù)解決下一個(gè)問(wèn)題。通過(guò)訓(xùn)練，神經(jīng)網(wǎng)絡(luò)模型可以學(xué)會(huì)哪種模式是處理問(wèn)題的最佳途徑。臉譜人工智能研究實(shí)驗(yàn)室負(fù)責(zé)人雅恩?樂(lè)昆曾把深度學(xué)習(xí)描述為“讓機(jī)器人學(xué)習(xí)表達(dá)世界”。
數(shù)字推理公司為了讓其神經(jīng)網(wǎng)絡(luò)模型在處理詞語(yǔ)類(lèi)比數(shù)據(jù)集時(shí)達(dá)到一定的精確性，使用了三臺(tái)多核電腦對(duì)其進(jìn)行訓(xùn)練。該公司計(jì)劃在近期使用更大的數(shù)據(jù)集和詞匯量對(duì)其神經(jīng)網(wǎng)絡(luò)模型進(jìn)行測(cè)試。
摘自 中國(guó)科技網(wǎng)
