最近看到新聞，商業(yè)巨頭亞馬遜2016年推出圖像識別AI系統(tǒng)“Rekognition”，還積極向美國警方推銷以幫助其辦案。不過近日，“Rekognition”卻鬧了一個大烏龍：28名美國國會議員被它識別成了罪犯。
這一錯誤也讓發(fā)起這項(xiàng)測試、反對警方使用“Rekognition”的美國公民自由聯(lián)盟（ACLU）抓到把柄，他們表示，測試結(jié)果引起了民眾對警方使用該系統(tǒng)的嚴(yán)重?fù)?dān)憂。
雖然人工智能應(yīng)用近幾年被吹得熱熱鬧鬧，場景也令人振奮，但真要付諸應(yīng)用，人們?nèi)匀粚@些系統(tǒng)信任度存在疑問。那么，怎么才能讓這些系統(tǒng)具有高可信性呢？這就要深入到每一個具體系統(tǒng)，進(jìn)行科學(xué)分析。本月IEEE Spectrum發(fā)表一篇文章Making Medical AI Trustworthy具有一定參考價(jià)值。
醫(yī)藥工業(yè)領(lǐng)域是人工智能系統(tǒng)應(yīng)用的理想之地。臨床檢驗(yàn)結(jié)果、醫(yī)患之間的溝通都被處理成為電子病歷。AI系統(tǒng)可以摘要這些數(shù)據(jù)，從而給出性價(jià)比較高的治療方案。現(xiàn)在許多企業(yè)都在研發(fā)這種系統(tǒng)，但真正進(jìn)入醫(yī)院應(yīng)用的卻不多。
為什么會這樣？匹茲堡大學(xué)的醫(yī)學(xué)研究專家和物理學(xué)家Shinjini Kunda說：問題在于信任，雖然你有可行的技術(shù)，但怎么能獲取人們的信任并使用呢？
許多醫(yī)用AI系統(tǒng)是個黑盒子，輸入數(shù)據(jù)后得出答案。醫(yī)生們搞不懂它為什么要這么處理。所以，Kunda研究AI對醫(yī)學(xué)圖像的分析與解釋。她最近用AI分析膝蓋核磁共振圖像（MRI），分析3年內(nèi)會發(fā)展為骨關(guān)節(jié)炎的可能性，使用“生長模型化”技術(shù)，用AI產(chǎn)生一個未來確定會發(fā)病的新圖像，并顯示支持其診斷的模式。
而人眼無法根據(jù)MRI圖像判斷患者3年內(nèi)是否會得關(guān)節(jié)炎，但 AI程序則可以基于MRI掃描軟骨圖片的微妙變化，得出患者3年內(nèi)得關(guān)節(jié)炎的概率。這些變化可能是醫(yī)生們沒有注意到或者無法觀察到的。
另外，微軟研究人員Rich Caruana十年來一直致力于一項(xiàng)研究，就是讓機(jī)器學(xué)習(xí)模型不僅是智能的，而且是可以理解的。他用AI通過醫(yī)院電子病歷去預(yù)計(jì)患者的結(jié)果。他發(fā)現(xiàn)，即使是高度精確的模型也隱藏嚴(yán)重的缺陷。
他曾經(jīng)對肺癌患者進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，訓(xùn)練機(jī)器學(xué)習(xí)模型區(qū)分入院的高危患者和可在家恢復(fù)的低危患者。該模型發(fā)現(xiàn)，心臟病患者較少死于肺炎，可作為低危人群。但實(shí)際上是，被診斷有肺炎的心臟病患者并不是低危人群，往往他們有呼吸困難時(shí)，就被及時(shí)送進(jìn)急診進(jìn)行治療。
所以，如果單單從結(jié)果看，機(jī)器學(xué)習(xí)模型發(fā)現(xiàn)的這種關(guān)聯(lián)性是正確的。但假如我們用這種關(guān)聯(lián)性去進(jìn)行衛(wèi)生保健，就可能讓某些患者喪命。鑒于此，由于這些麻煩的發(fā)現(xiàn)，Rich Caruana正在研究清楚顯示變量相關(guān)的機(jī)器學(xué)習(xí)模型，讓它判斷模型不但在統(tǒng)計(jì)意義上精確，而且能在醫(yī)學(xué)上可用。
由此看來，人工智能應(yīng)用需要應(yīng)用領(lǐng)域?qū)＜疑钊敕治觥?yán)格的測試過程、有效的容錯技術(shù)，才能保證其應(yīng)用系統(tǒng)的安全可靠，人們才能放心使用。
摘自《中國科學(xué)報(bào)》
