當(dāng)今，“算力”越來越成為科技進(jìn)步、經(jīng)濟(jì)社會(huì)發(fā)展的底座，但“算力”并非千篇一律。
20世紀(jì)60年代，為解決大規(guī)模數(shù)值計(jì)算、仿真模擬等科學(xué)工程計(jì)算問題，超級(jí)計(jì)算中心應(yīng)運(yùn)而生，至今仍以大國重器的形象為諸多行業(yè)提供科學(xué)計(jì)算服務(wù)。
21世紀(jì)前10年，互聯(lián)網(wǎng)信息服務(wù)、高并發(fā)訪問等網(wǎng)絡(luò)計(jì)算與數(shù)據(jù)存儲(chǔ)所寄的云計(jì)算中心開始落地，各大公有云平臺(tái)拔地而起、攻城略地。
近10年來，人工智能（AI）計(jì)算中心開始出現(xiàn)，主要用來處理影像、語音、自然語言等識(shí)別問題，綜合應(yīng)用多種技術(shù)實(shí)現(xiàn)推理、訓(xùn)練模型開發(fā)。
這三類計(jì)算中心，雖然各自特點(diǎn)鮮明、用途有異，但超算與AI計(jì)算、云計(jì)算與超算、AI計(jì)算與云計(jì)算“我中有你、你中有我”的情形并不鮮見，相互之間的界限逐漸模糊。然而，隨之而來的以偏概全、以此代彼的亂象，竟逐漸成了一些地方建設(shè)算力中心的“糊涂賬”。
亂象源于缺乏相應(yīng)測(cè)試標(biāo)準(zhǔn)
城市應(yīng)該建設(shè)什么樣的算力中心？如何推動(dòng)算力中心健康發(fā)展？近日，在一場(chǎng)以“數(shù)智創(chuàng)新，算力賦能”為主題的2021算力中心健康發(fā)展研討會(huì)上，中國工程院院士鄭緯民等業(yè)內(nèi)學(xué)者從不同角度提供了意見參考。
中國計(jì)算機(jī)學(xué)會(huì)高性能計(jì)算專家委員會(huì)秘書長、中國科學(xué)院計(jì)算技術(shù)研究所研究員張?jiān)迫诎l(fā)言時(shí)提到，此前，某市建設(shè)了AI計(jì)算中心，號(hào)稱算力是超級(jí)計(jì)算機(jī)的數(shù)萬倍。“‘花錢少、算力高’這種不規(guī)范、不專業(yè)的對(duì)比讓業(yè)內(nèi)人士很反感。”
張?jiān)迫f， AI計(jì)算中心很熱門，但如何引導(dǎo)其健康發(fā)展，“是當(dāng)下行業(yè)面臨的一個(gè)重要議題”。
國家信息中心2020年12月發(fā)布了《智能計(jì)算中心規(guī)劃建設(shè)指南》，定義“智能計(jì)算中心”是基于最新AI理論，采用領(lǐng)先AI計(jì)算架構(gòu)，提供AI應(yīng)用所需算力服務(wù)、數(shù)據(jù)服務(wù)和算法服務(wù)的公共算力新型基礎(chǔ)設(shè)施。
“自從AI成為‘新基建’，各地政府爭先恐后，出錢建設(shè)AI計(jì)算中心，但總的來說，應(yīng)用還不是太明確。”鄭緯民在上述研討會(huì)上說，無論超算中心還是AI計(jì)算中心，最重要的是應(yīng)用匹配。“當(dāng)前最應(yīng)該做的事，不是以新基建之名攛掇政府建設(shè)算力中心，而是要真正做出來幾個(gè)實(shí)際應(yīng)用。”
這代表了業(yè)界務(wù)實(shí)的態(tài)度。中國科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院研究員張林波也提出，很贊同各類算力中心應(yīng)該各自發(fā)揮所長，做最適合的事情。但他話鋒一轉(zhuǎn)：“AI計(jì)算現(xiàn)在有點(diǎn)咄咄逼人，好多人甚至覺得AI計(jì)算能夠取代傳統(tǒng)的科學(xué)計(jì)算。”
“這是宣傳不當(dāng)引起的概念混淆。”張?jiān)迫J(rèn)為，在高性能計(jì)算（HPC）、云、AI融合發(fā)展的趨勢(shì)下，要清晰界定三類算力中心各自的內(nèi)涵與外延，以及它們之間的相互關(guān)系，明晰不同計(jì)算精度算力與不同應(yīng)用之間的匹配。
對(duì)算力概念的混淆曾鬧出過啼笑皆非的事。一次，張?jiān)迫蚰硨W(xué)會(huì)領(lǐng)導(dǎo)匯報(bào)HPC的研制，不料卻遭到“批評(píng)”：“現(xiàn)在都什么時(shí)代了，你還在談高性能計(jì)算，太過時(shí)了。”
概念混淆之后緊跟著的是價(jià)格亂象。一般而言，算力配置不同會(huì)導(dǎo)致造價(jià)迥異——即使同等算力，不同的CPU主頻、帶寬及時(shí)延要求也會(huì)讓機(jī)器造價(jià)差別巨大，但一些廠商拿AI計(jì)算中心“花錢少、算力高”作為賣點(diǎn)吆喝，就不屬此類了。
道理很簡單：同樣一個(gè)對(duì)外標(biāo)稱100P的算力中心，用建設(shè)AI計(jì)算中心的預(yù)算一定造不出超算中心的效果。
“概念混淆、價(jià)格混亂的主要原因是沒有對(duì)應(yīng)的測(cè)試標(biāo)準(zhǔn)，孰好孰壞一測(cè)就知道了。”張?jiān)迫ㄗh，要在行業(yè)中推行與AI計(jì)算平臺(tái)相適應(yīng)的標(biāo)準(zhǔn)。
清華大學(xué)教授陳文光與張?jiān)迫?020年推出了相應(yīng)的AIperf測(cè)試標(biāo)準(zhǔn)，并致力于將其國際化。但他坦言：“推出一個(gè)國際化的測(cè)試標(biāo)準(zhǔn)是很有難度的，后續(xù)還要努力。
“蠻算”的AI計(jì)算
在實(shí)際應(yīng)用中，傳統(tǒng)超算最適合用于科學(xué)和工程計(jì)算，這類計(jì)算有可計(jì)算模型，可以發(fā)展有很高精度的算法，計(jì)算結(jié)果精度也非常高。但有些問題是科學(xué)計(jì)算力不能及的，如缺乏數(shù)學(xué)模型的問題和超高維問題。這時(shí)，以機(jī)器學(xué)習(xí)為代表的AI計(jì)算就派上了用場(chǎng)。
不過，張林波介紹，機(jī)器學(xué)習(xí)等是一種類似統(tǒng)計(jì)的方法，與科學(xué)計(jì)算相比其結(jié)果精度不高。另外，AI計(jì)算還有穩(wěn)定性問題、模型泛化受限等問題。
他舉例說，在新冠肺炎疫情暴發(fā)之初，許多人一窩蜂地用肺部影像識(shí)別來鑒定新冠病毒感染，發(fā)了很多論文，但后來發(fā)現(xiàn)這些論文的結(jié)論幾乎沒有可用的。
“圖像識(shí)別是機(jī)器學(xué)習(xí)最擅長的領(lǐng)域，發(fā)生上述情況的原因可能是訓(xùn)練數(shù)據(jù)太小或是機(jī)理不清，但或許這才是AI計(jì)算要去深究的，比如摸清機(jī)理后設(shè)計(jì)更先進(jìn)的算法等。”基于現(xiàn)階段AI計(jì)算機(jī)的作用，張林波認(rèn)為現(xiàn)在的“人工智能計(jì)算”簡稱為“智能計(jì)算”或“智算”有點(diǎn)誤導(dǎo)人——“這樣的AI計(jì)算并不‘智能’。”
“沒有知識(shí)庫、沒有邏輯處理能力，當(dāng)我們搞不清楚某問題的機(jī)理時(shí)，拿一個(gè)神經(jīng)網(wǎng)絡(luò)靠機(jī)器的規(guī)模去模仿它，這不叫‘智算’，叫‘蠻算’。”張林波說。
國家氣象信息中心副總工程師沈文海對(duì)此產(chǎn)生了共鳴。他提出，氣象部門也在做AI應(yīng)用方面的探索，但都是各自為戰(zhàn)——圍繞某個(gè)痛點(diǎn)，如AI識(shí)別云圖、臺(tái)風(fēng)規(guī)模和路徑等，把數(shù)據(jù)拿來、接入計(jì)算資源、識(shí)別一番，確實(shí)有點(diǎn)“傻算”“蠻算”意味。
“我們?nèi)狈σ粋€(gè)長期計(jì)劃或整個(gè)氣象部門的AI規(guī)劃。”沈文海認(rèn)為，長此以往就有很大的弊端，一是沒有對(duì)機(jī)理成因方面的探討，二是低水平重復(fù)。
“制定一個(gè)覆蓋整個(gè)氣象部門的AI應(yīng)用發(fā)展規(guī)劃，確實(shí)很有難度，并且這會(huì)引發(fā)對(duì)算力中心的新需求。”沈文海說。
融合發(fā)展仍是趨勢(shì)
對(duì)算力中心提出新需求的，還有時(shí)下熱門的數(shù)字孿生。
數(shù)字孿生是機(jī)器學(xué)習(xí)領(lǐng)域非常重要的研究方向之一。在借由大量傳感器將物理世界數(shù)字化、虛擬化的數(shù)字孿生世界里，AI可以做的事情很多，包括預(yù)測(cè)物理世界未來如何進(jìn)一步演進(jìn)、衍生。
中國科學(xué)院半導(dǎo)體技術(shù)研究所研究員李衛(wèi)軍說，數(shù)字孿生“絕對(duì)需要超大的一個(gè)計(jì)算系統(tǒng)”，因?yàn)樗粌H需要包含神經(jīng)網(wǎng)絡(luò)計(jì)算，也需要很多邏輯計(jì)算。“這是一個(gè)大型的邏輯計(jì)算與抽象思維相結(jié)合的應(yīng)用場(chǎng)景”。
從本質(zhì)上來說，高性能計(jì)算和AI計(jì)算都是在模擬人的智能：前者模擬人的邏輯計(jì)算能力，后者模擬的是人的抽象思維。只不過，超級(jí)計(jì)算機(jī)現(xiàn)在在邏輯計(jì)算方面比人的計(jì)算能力強(qiáng)億萬倍，而AI計(jì)算機(jī)目前卻只能用深度神經(jīng)網(wǎng)絡(luò)來獲得一個(gè)近似的結(jié)果。
顯然，兩種不同的能力也不能用同一種標(biāo)準(zhǔn)評(píng)價(jià)孰好孰壞。
李衛(wèi)軍認(rèn)為，將來數(shù)字孿生要發(fā)展，需要傳統(tǒng)超算與AI計(jì)算實(shí)現(xiàn)融合，這是邏輯計(jì)算和抽象思維的一種融合，雖然它需要怎樣的計(jì)算結(jié)構(gòu)和算法目前還不得而知。
在HPC和AI融合發(fā)展的道路上，排在全球超算TOP500榜單前列的“大機(jī)器”先走一步。
日本“富岳”超級(jí)計(jì)算機(jī)（Fugaku）和美國“頂點(diǎn)”（Summit）不僅科學(xué)計(jì)算能力出眾，而且能支撐大規(guī)模的AI計(jì)算（如圖計(jì)算）需求。這緣于它們的異構(gòu)架構(gòu)——高性能CPU支撐其高精度浮點(diǎn)計(jì)算性能，大量加速芯片支撐深度學(xué)習(xí)應(yīng)用。它們作為世界上最先進(jìn)的計(jì)算機(jī)，多少代表著未來計(jì)算融合發(fā)展的方向。
但看似矛盾的是，AI與HPC的“分化”也是最近的事情。
張?jiān)迫榻B說，自從巨參數(shù)模型（如GPT模型）誕生以來，其算力需求對(duì)于現(xiàn)存的超級(jí)計(jì)算機(jī)是“致命的”——我國七八家國家級(jí)超算中心，都不具備解決千億乃至萬億級(jí)模型參數(shù)計(jì)算的能力，這直接導(dǎo)致AI計(jì)算的架構(gòu)和概念獨(dú)立出來。
事實(shí)上，巨模型的計(jì)算問題，無論對(duì)超算更是AI計(jì)算都提出了巨大挑戰(zhàn)。張?jiān)迫J(rèn)為，這意味著未來超級(jí)計(jì)算機(jī)的架構(gòu)和形態(tài)還要繼續(xù)演化。
陳文光認(rèn)為，AI應(yīng)用特別是基于巨模型的應(yīng)用對(duì)網(wǎng)絡(luò)、I/O能力等的要求非常高，從融合發(fā)展的方向看，這些應(yīng)用的特殊要求反過來會(huì)影響HPC的設(shè)計(jì)，比如對(duì)帶寬的要求和I/O的設(shè)計(jì)會(huì)有一些促進(jìn)。
另外，陳文光提到，還應(yīng)重視混合精度算力的發(fā)展。比如，AI算力的單精度性能高，就可以先用它解決一些低精度計(jì)算的問題，然后再拿到高性能計(jì)算機(jī)上完成高精度的計(jì)算要求，從而提升算力資源整體的性能和性價(jià)比。據(jù)透露，目前混合精度算力已被寫入計(jì)算領(lǐng)域“十四五”規(guī)劃相關(guān)的指南文件中。
自底向上來看，算力中心能提供何種計(jì)算能力，從根本上取決于芯片。比如AI芯片嚴(yán)格意義上屬于專用芯片，那么國內(nèi)一些以AI芯片為主的計(jì)算機(jī)，就注定無法勝任科學(xué)計(jì)算任務(wù)。
從事服務(wù)器芯片研發(fā)的中國科學(xué)院計(jì)算技術(shù)研究所研究員范東睿介紹說，即便AI芯片也有通用與專用之別，在他看來，專用芯片就應(yīng)該越來越專，通用芯片就要做到能涵蓋所有的精度和算法，讓其各司其職。
“（一些供應(yīng)商）把專用芯片當(dāng)成通用芯片來講故事，那就不好了。”范東睿說，目前國內(nèi)對(duì)芯片的需求量越來越大，但作為核心器件，“芯片人”和“芯片廠”還是要有所堅(jiān)持，“不能忽悠”。
來源:《中國科學(xué)報(bào)》
