解碼人類視覺神經(jīng)表征是一項(xiàng)具有重要科學(xué)意義的挑戰(zhàn),可以揭示視覺處理機(jī)制并促進(jìn)腦科學(xué)與人工智能的發(fā)展。然而,目前的神經(jīng)解碼方法難以泛化到訓(xùn)練數(shù)據(jù)以外的新類別,主要挑戰(zhàn)在于現(xiàn)有方法未充分利用神經(jīng)數(shù)據(jù)背后的多模態(tài)語義知識(shí),且現(xiàn)有的可利用的配對(刺激-腦響應(yīng))訓(xùn)練數(shù)據(jù)很少。
近日,中科院自動(dòng)化所神經(jīng)計(jì)算與腦機(jī)交互團(tuán)隊(duì)將大腦、視覺和語言知識(shí)相結(jié)合,通過多模態(tài)學(xué)習(xí)實(shí)現(xiàn)了從人類腦活動(dòng)中零樣本地解碼視覺新類別。相關(guān)研究成果以Decoding Visual Neural Representations by Multimodal Learning of Brain-Visual-Linguistic Features為題發(fā)表于IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI)。人類對視覺刺激的感知和識(shí)別受到視覺特征和人們先前經(jīng)驗(yàn)的影響,例如當(dāng)人們看到一個(gè)熟悉的物體時(shí),大腦會(huì)自然而然地檢索與該物體相關(guān)的知識(shí),如圖1所示。基于此,本研究提出“腦-圖-文”三模態(tài)聯(lián)合學(xué)習(xí)框架,在使用實(shí)際呈現(xiàn)的視覺語義特征的同時(shí),加入與該視覺目標(biāo)對象相關(guān)的更豐富的語言語義特征,以更好地解碼腦信號(hào)。
該研究證明,從人腦活動(dòng)中解碼新的視覺類別是可以實(shí)現(xiàn)的,并且精度較高;使用視覺和語言特征的組合比僅使用其中之一的解碼表現(xiàn)更好;在人腦語義表征過程中,視覺加工會(huì)受到語言的影響。
相關(guān)發(fā)現(xiàn)不僅對人類視覺系統(tǒng)的理解有所啟示,也有望為腦機(jī)接口技術(shù)提供新思路。研究團(tuán)隊(duì)介紹,本工作提出的方法具有三個(gè)方面的潛在應(yīng)用:作為一種神經(jīng)語義解碼工具,此方法將在新型讀取人腦語義信息的神經(jīng)假肢設(shè)備的開發(fā)中發(fā)揮重要作用,可為其提供技術(shù)基礎(chǔ);作為神經(jīng)編碼工具,通過跨模態(tài)推斷腦活動(dòng),用于研究視覺和語言特征如何在人類大腦皮層上表達(dá),揭示哪些腦區(qū)具有多模態(tài)屬性(即對視覺和語言特征敏感);作為類腦特性評估工具,測試哪個(gè)模型的(視覺或語言)表征更接近于人類腦活動(dòng),從而激勵(lì)研究人員設(shè)計(jì)更加類腦的計(jì)算模型。
論文第一作者為中國科學(xué)院特別研究助理杜長德,通訊作者為何暉光研究員。研究工作得到了科技部科技創(chuàng)新2030—“新一代人工智能”重大項(xiàng)目、基金委項(xiàng)目、中國科學(xué)院自動(dòng)化研究所2035創(chuàng)新任務(wù)以及CAAI-華為MindSpore學(xué)術(shù)獎(jiǎng)勵(lì)基金及智能基座等項(xiàng)目的支持。為促進(jìn)該領(lǐng)域的持續(xù)發(fā)展,研究團(tuán)隊(duì)已將代碼和新收集的三模態(tài)數(shù)據(jù)集開源。
來源:中國科學(xué)院自動(dòng)化研究所