2015年，一名憂心忡忡的父親問了Rhema Vaithianathan一個問題，這個問題至今依然縈繞在她的記憶里。當時，一小群人聚集在美國賓夕法尼亞州匹茲堡的一個地下室內，聽她講軟件如何解決虐待兒童的問題。該區域的熱線每一天都會接聽到數十個電話，指稱懷疑有兒童處于危險中；其中一些電話被呼叫中心的工作人員標記為要調查的對象。但該系統并不能發現所有虐待兒童的案例。Vaithianathan和同事剛剛獲得了一份50萬美元的合同，以創建幫助解決這個問題的算法。
新西蘭奧克蘭理工大學社會數據分析中心聯席主管、健康經濟學家Vaithianathan告訴聽眾，該算法會如何工作。例如，一個包括家庭背景和犯罪記錄的經過大量數據訓練的工具，可以在來電時產生風險分數。這或有助于讓篩選人員對應該調查哪些家庭作出標記。
在Vaithianathan請聽眾提問后，這位父親站起來發言。他說自己曾與毒癮作斗爭，過去社會工作者曾把他的孩子從家里帶走。但他已經有很長時間不再吸毒。如果用一臺電腦評估他的檔案，他為改變自己的生活所作的努力會毫無意義嗎？換句話說：算法會不公平地評判他嗎？
Vaithianathan向他保證，會有人一直參與其中，所以他的努力不會被忽視。但現在自動化工具已經部署完畢，她仍在考慮這位父親的問題。 計算機算法越來越多地被用于指導可能改變生活的決定，包括在被指控犯罪后拘留哪些人，應該調查哪些家庭潛在的虐待兒童問題，以及被稱為“預測性警務”的趨勢，如警察應該關注哪些社區。這些工具被認為可以讓決策更加一致、準確和嚴謹。但2016年，美國記者稱，一個用于評估未來犯罪活動風險的系統會歧視黑人被告。其潛在不公平性正在引起警惕。且監管是有限的：沒有人知道該類工具有多少正在被使用。
公平交易
2016年5月，美國新聞網站ProPublica的記者報道了佛羅里達州布勞沃德縣的法官使用商業軟件，幫助決定被指控犯罪的人在審判前是否應該從監獄中釋放出來。記者報道稱，該軟件對黑人被告存在偏見。這個名為COMPAS的工具產生的分數旨在衡量一個人釋放后在兩年內再次犯罪的可能性。
ProPublica團隊調查了數千名被告的COMPAS分數，這些是他們通過公共記錄請求獲得的。對比黑人和白人被告后，記者發現一定比例的黑人被告是“假陽性”：他們被COMPAS列為高風險，但隨后未被指控另一項罪行。
該算法的開發者是密歇根州的一家名為Northpointe（即現在俄亥俄州坎頓市的Equivant）的公司。該公司稱，COMPAS還擅長預測被列為高風險的白人或黑人被告是否會再次犯罪。匹茲堡卡內基梅隆大學統計學家Alexandra Chouldechova很快發現Northpointe與ProPublica衡量公平的標準存在沖突。預測奇偶性、相同的假陽性錯誤率和相同的假陰性錯誤率都是達到“公平”的方式，但如果兩個群體之間存在差異，那么在統計上就是不可能調和的，比如白人和黑人再次被捕的比率。“你不可能兼而有之。如果你想在一個方面做到公平，那么在另一種聽起來合理的定義下，你必然是不公平的。”英國倫敦大學學院負責機器學習的研究人員Michael Veale說。
實際上，從數學角度看，對公平的定義還有更多的方式：在今年2月的一次會議上，計算機科學家Arvind Narayanan作了一場題為《21個公平定義及其政治性》的報告，他指出，還有其他定義公平的方式。包括Chouldechova在內的一些研究人員對ProPublica案例進行了研究，他們表示尚不清楚不平等的錯誤率是否表明存在偏見。斯坦福大學計算機科學家Sharad Goel說，它們反映了一個事實，即一個群體比另一個群體更難預測。“事實證明，它或多或少是一種統計學上的人為現象。”
雖然統計上的不平衡是一個問題，但算法中潛藏著更深層次的不公平，而且它們可能會加劇社會不公。例如，COMPAS之類的算法可能會聲稱，它們可以預測未來犯罪活動的可能性，但它只能依賴可測量的代表，比如被捕。而警務實踐的變化意味著一些社區可能不相稱地被列為攻擊目標，人們可能會因為在其他社區可以被忽視的罪行而被捕。“即使我們準確地預測了一些事情，準確預測的事情也可能是強加的不公正。”華盛頓特區非營利性社會正義組織Upturn的行政主任David Robinson說。很多時候它會取決于法官在多大程度上依賴這種算法作出決定，而人們對此知之甚少。
透明度與局限性
盡管一些機構建立了自己的工具或是使用商業軟件，但學術界發現自己依然對公共部門的算法有需求。人們對提高透明度的要求很高。紐約大學人工智能社會影響研究中心“現在AI研究所”共同創始人Kate Crawford說，當算法是“封閉的環，不允許算法檢查、評估或公開辯論”時，通常會加劇問題。但目前尚不清楚如何才能讓算法更加開放。伊利諾伊州芝加哥大學數據科學和公共政策中心主任Rayid Ghani說，僅僅公布一個模型的所有參數并不能提供它如何運作的更多信息。透明度還可能與保護隱私相沖突。在某些情況下，披露太多關于算法如何運行的信息可能會讓人們挑戰該系統。
Goel說，問責制面臨的一大障礙是，各機構往往會不收集有關工具的使用情況或表現的相關數據。“很多時候沒有透明度，因為沒有什么可分享的。”例如，加州立法機構有一項草案呼吁使用風險評估工具，以幫助減少被告支付保釋金的頻率，這種做法因存在處罰低收入被告的情況而受到批評。Goel希望該法案強制規定，在法官與該工具存在異議的情況下，收集每個案件的具體細節（包括結果）等信息。他說：“我們的目標是在維護公共安全的同時，從根本上減少監禁，所以我們必須知道這樣做是否有效。”
許多人希望法律能夠推動這些目標。紐約伊薩卡康奈爾大學人工智能倫理和政策問題研究員Solon Barocas說，這是有先例的。在美國，一些消費者保護規定允許公民在對其信用作出不利判決時作出解釋。Veale說，在法國，早在20世紀70年代就有立法賦予公民解釋的權利以及對自動決策提出異議的能力。
最大的考驗將是5月25日生效的歐洲《通用數據保護條例》（GDPR）。一些條款似乎促進了算法問責制。但英國牛津互聯網研究所數據倫理學家Brent Mittelstadt表示，GDPR實際上可能會為那些希望評估公平的人設立一個“法律雷區”，從而阻礙它的發展。測試一種算法是否在某些方面存在偏差的最佳方法需要了解進入系統的人員的相關屬性，例如它是否會傾向于一個種族而非另一個。
審計算式
與此同時，研究人員正在推進尚未公開接受公眾監督的算法偏差的策略檢測。Barocas說，企業可能不愿討論它們如何解決公平的問題，因為這意味著它們要承認一開始就存在問題。他說，即使它們這樣做了，其行動只可能改善但不會消除偏見。“因此，任何有關這一問題的公開聲明，都不可避免地承認問題依然存在。”最近幾個月，微軟和臉譜網都宣布開發檢測偏見的工具。
一些研究人員已經開始呼吁在刑事司法應用和其他領域后退一步，不再局限于建立預測性的算法。例如，一個工具或可很好地預測誰不會出庭。但最好應該問人們為什么不出庭，或許還可以設計出一些干預措施，比如短信提醒或交通援助，這些措施可能會提高人們的出庭率。“這些工具通常可幫助我們修補邊緣問題，但我們需要的是徹底改變。”民權律師、紐約大學法學院種族正義倡導者Vincent Southerland說。他表示，這也就是說，圍繞算法的激烈辯論“迫使我們所有人去詢問并回答關于我們所使用的系統及其運作方式的真正棘手的基本問題”。
Vaithianathan看到了構建更好算法的價值，即使它們嵌入的總體系統是有缺陷的。“也就是說，算法不能被直升機空投到這些復雜的系統中。”她說，“它們必須在了解更廣泛背景的人的幫助下運行。”但即便是最好的算法也會面臨挑戰，因此在缺乏直接答案和完美解決方案的情況下，透明度是最好的策略。“我總是說，如果你不可能是對的，那就誠實點。”（晉楠編譯）
摘自《中國科學報》
