人工智能在不斷發(fā)展的同時(shí)，其背后算力的消耗也十分驚人。有統(tǒng)計(jì)顯示，谷歌公司研發(fā)的伯特預(yù)訓(xùn)練語言模型，擁有3.4億個(gè)數(shù)據(jù)參數(shù)，而訓(xùn)練它一次所需的電力足夠一個(gè)美國(guó)家庭使用50天。
承載了人類未來大夢(mèng)想、大可能和巨大挑戰(zhàn)的人工智能， 火了這么些年，取得了長(zhǎng)足的發(fā)展，與之相輔相成的，是人工智能日益“龐大”的架構(gòu)體系，諸如常以十億計(jì)的計(jì)算單位，龐大的云計(jì)算數(shù)據(jù)中心……越來越“大”是人工智能的現(xiàn)實(shí)與未來嗎？
近日《麻省理工科技評(píng)論》公布年度十大突破性技術(shù)排行榜，微型人工智能技術(shù)（Tiny AI）位列其中。從大到小，難道是人工智能正在“返璞歸真”的途中？
不可持續(xù)的“大”人工智能
我們都知道，隨著研究人員不斷給算法“喂養(yǎng)”大量數(shù)據(jù)，機(jī)器學(xué)習(xí)變得越來越聰明，但它們是否也變得更環(huán)保呢？答案是否定的。
不可否認(rèn)，人工智能在過去幾年中取得了許多突破。深度學(xué)習(xí)是許多人工智能系統(tǒng)實(shí)現(xiàn)高精度的突破之一。研究人員發(fā)現(xiàn)，雖然人工智能每一天都在變得更加精確，但同時(shí)也帶來了隱藏的環(huán)境代價(jià)。
“當(dāng)前人工智能攜帶著龐大的數(shù)據(jù)集被輸入到云數(shù)據(jù)中心，然后由無窮無盡的算法進(jìn)行分析。”威海北洋電氣集團(tuán)股份有限公司副總工程師秦志亮表示，數(shù)據(jù)上傳到云中心的過程，以及通過復(fù)雜的算法結(jié)構(gòu)和精巧的訓(xùn)練方式獲得高精度的算法模型，不僅會(huì)產(chǎn)生驚人的碳排放量，而且限制了算法模型的運(yùn)行與部署速度，同時(shí)帶來很多隱私問題。
美國(guó)馬薩諸塞大學(xué)阿默斯特分校研究人員的一項(xiàng)研究結(jié)論對(duì)秦志亮的說法提供了佐證。他們通過揭示算法訓(xùn)練的能量強(qiáng)度發(fā)現(xiàn)，訓(xùn)練一種算法產(chǎn)生的二氧化碳排放量相當(dāng)于一輛普通汽車終生二氧化碳排放量的5倍，或者相當(dāng)于飛機(jī)在紐約和舊金山之間大約300次的往返飛行。研究人員認(rèn)為，在尋求人工智能高準(zhǔn)確性的過程中，人們似乎失去了對(duì)能源效率的關(guān)注。
事實(shí)上，“大”人工智能也不適合離線和實(shí)時(shí)決策，比如自動(dòng)駕駛解決方案，且日益依賴于巨大的能量、巨大的帶寬，這種模式在經(jīng)濟(jì)和生態(tài)上同樣具有不可持續(xù)性。
另外，更讓研究人員擔(dān)心的是，這一趨勢(shì)還可能加速人工智能研究集中到少數(shù)科技巨頭手中，在學(xué)術(shù)界或資源較少的國(guó)家，資源不足的實(shí)驗(yàn)室根本沒有辦法使用或開發(fā)計(jì)算成本昂貴的模型。
去中心化或是未來趨勢(shì)
人工智能雖已融入大眾生活，但最終的成功還要取決于“落地”，實(shí)現(xiàn)大規(guī)模商用，這應(yīng)該是推動(dòng)微型人工智能發(fā)展的直接原因。
“為了實(shí)現(xiàn)人類對(duì)人工智能遠(yuǎn)大的夢(mèng)想，我們必須從小處著想，甚至很小。云數(shù)據(jù)主導(dǎo)的趨勢(shì)正在轉(zhuǎn)變，未來的人工智能環(huán)境將是去中心化的。”海南普適智能科技有限公司CEO陳嘯翔說。
海南中智信信息技術(shù)有限公司總經(jīng)理于建港認(rèn)為，“這是一條與計(jì)算機(jī)發(fā)展相反的路徑，計(jì)算機(jī)的發(fā)展經(jīng)歷了從個(gè)人終端，然后到互聯(lián)網(wǎng)化、虛擬化的過程。而微型人工智能是先互聯(lián)網(wǎng)化、虛擬化，再終端化。”
以伯特（Bert）為例。伯特是谷歌公司高級(jí)研發(fā)科學(xué)家雅各布·德夫林（Jacob Devlin）和他的團(tuán)隊(duì)開發(fā)的預(yù)訓(xùn)練語言模型（PLM），它可以理解單詞和上下文，可以為寫作提出建議或獨(dú)立完成的句子。《麻省理工科技評(píng)論》報(bào)道中稱，伯特?fù)碛?.4億個(gè)數(shù)據(jù)參數(shù)。此外，訓(xùn)練它一次所需的電力足夠一個(gè)美國(guó)家庭使用50天。
華為研究人員則發(fā)表文章稱，他們制作了微型伯特（Tiny Bert）模型，尺寸比伯特縮小7.5倍，速度還快了近10倍。來自谷歌的研究人員也發(fā)表文章說，他們已經(jīng)造出了一個(gè)比伯特小了60多倍的版本，但其語言理解能力略差于華為的版本。
華為和谷歌他們是如何做到的？其實(shí)，這兩家公司都使用了一種常見的壓縮技術(shù)的變體，這種技術(shù)被稱為“知識(shí)提取”，可以讓想要縮小的大型人工智能模型去訓(xùn)練其圖像中的小得多的模型，類似于老師訓(xùn)練學(xué)生。
我們可以這樣理解，微型人工智能應(yīng)是人工智能研究界為縮小算法規(guī)模所做的努力。這不僅是減少模型的大小，而且還加快推理速度，保持了高水平的準(zhǔn)確性。此外，還可以在邊緣部署小得多的算法，無需將數(shù)據(jù)發(fā)送到云，而是在設(shè)備上進(jìn)行決策。
三個(gè)方面縮小現(xiàn)有模型
微小數(shù)據(jù)、微小硬件、新型材料、微小算法，微型人工智能是一種綜合方法，涉及數(shù)據(jù)、硬件和算法的共同開發(fā)。
如何在不明顯影響模型準(zhǔn)確度的前提下，縮小現(xiàn)有的深度學(xué)習(xí)模型，秦志亮認(rèn)為，可以從三個(gè)方面著手。一是硬件方面的邊緣端計(jì)算，二是算法方面的模型簡(jiǎn)化，三是數(shù)據(jù)方面的小樣本訓(xùn)練。
無論是新技術(shù)還是新理念，大眾的關(guān)注點(diǎn)還是其在市場(chǎng)上的普及率，特別是產(chǎn)品量產(chǎn)與應(yīng)用。
“微型人工智能具體落地場(chǎng)景包括語音助手、數(shù)字化妝等，涉及到即時(shí)場(chǎng)景理解，邊緣端目標(biāo)檢測(cè)等技術(shù)；此外，微型人工智能也將使新的應(yīng)用成為可能，比如基于移動(dòng)端的醫(yī)學(xué)影像分析，或?qū)Ψ磻?yīng)時(shí)間要求更快的自動(dòng)駕駛模型的開發(fā)。”秦志亮說。
“現(xiàn)在微型算法一般在幾百兆到幾個(gè)G，完全可以裝在到手機(jī)上。”于建港說，微型人工智能可以應(yīng)用在所有需要前端控制的應(yīng)用上，即使5G已加速覆蓋了，網(wǎng)絡(luò)時(shí)延降低，但是像工控、自動(dòng)駕駛、航天等需要快速反應(yīng)的應(yīng)用，都需要本地部署人工智能算法。他認(rèn)為，將來的業(yè)務(wù)形態(tài)應(yīng)該是終端做出簡(jiǎn)單快速的反饋，服務(wù)器做出重大決策。
在2019年年底的安博會(huì)上，已有人工智能初創(chuàng)企業(yè)推出“Tiny AI”，該公司將低功耗、小體積的NPU與MCU整合，適配市場(chǎng)上各種主流的2D/3D傳感器，滿足2D/3D圖像、語音等識(shí)別需求的AI解決方案受到了業(yè)界的關(guān)注。此外，英偉達(dá)（NVIDIA）和華為等公司，也都陸續(xù)推出了終端型圖形處理器，體型較小、功耗較低、功能可以滿足簡(jiǎn)單的算法。
技術(shù)初期期待寬松發(fā)展環(huán)境
微型人工智能尚處于初期發(fā)展階段，該領(lǐng)域的安全、倫理、隱私等問題也同樣引起人們的關(guān)注。
秦志亮擔(dān)心的問題有兩個(gè)。一是算法歧視可能激增。他說，算法歧視之所以難以解決，歸根結(jié)底在于算法的可解釋性與訓(xùn)練數(shù)據(jù)的不均衡，相比于傳統(tǒng)的云端訓(xùn)練，微型人工智能的訓(xùn)練數(shù)據(jù)集樣本較少，數(shù)據(jù)的分布可能更加偏頗。另一個(gè)隱患是數(shù)據(jù)偽造的影響。GAN（Generative Adversarial Network）和深度偽造技術(shù)為代表的視頻與圖像技術(shù)一直是人工智能算法研究的熱點(diǎn)。隨著這些技術(shù)的普及，未來的用戶端極有可能接收或產(chǎn)生大量的虛擬偽造數(shù)據(jù)。微型人工智能受限于計(jì)算力的制約，在分散式網(wǎng)絡(luò)架構(gòu)中，如何有效地甄別這些偽造數(shù)據(jù)，這很可能是一個(gè)隱患。
于建港則認(rèn)為，微型人工智能會(huì)導(dǎo)致分布式人工智能的興起，每個(gè)終端都成為一個(gè)AI節(jié)點(diǎn)，各自都能獨(dú)立存活，出現(xiàn)類似區(qū)塊鏈的應(yīng)用。網(wǎng)絡(luò)側(cè)的控制力度將降低，政府的管控風(fēng)險(xiǎn)加大。不過，技術(shù)都是兩面性的，于建港分析，雖然有這些風(fēng)險(xiǎn)，但是對(duì)人工智能的管控技術(shù)也在發(fā)展，應(yīng)該相信微型人工智能的正面作用，不應(yīng)該在技術(shù)初期就限定太多條條框框。
來源：《科技日?qǐng)?bào)》
