為什么人工智能需要可解釋性？
??點(diǎn)擊“博文視點(diǎn)Broadview”，獲取更多書訊
人工智能技術(shù)與系統(tǒng)已經(jīng)開始頻繁地出現(xiàn)在人們的工作和生活中，智能財(cái)務(wù)系統(tǒng)、智能招聘系統(tǒng)和智能推薦系統(tǒng)等不一而足——這些智能系統(tǒng)正在逐步改變社會生活的方方面面，影響甚至決定人的命運(yùn)。
似乎在我們還沒弄明白人工智能到底是怎么一回事的時(shí)候，人工智能的實(shí)際應(yīng)用就已經(jīng)跑得很遠(yuǎn)了。
然而，我們真的了解人工智能嗎？到底什么是人工智能？人工智能的決策機(jī)制到底是怎樣工作的？它今后將朝著怎樣的方向發(fā)展？
這些問題都與人工智能系統(tǒng)的可解釋性（Explainability）息息相關(guān)。
為什么人工智能需要可解釋性？
為了回答這個問題，讓我們首先考察一個圖像識別模型的實(shí)驗(yàn)結(jié)果：
若干哈士奇和狼的樣本圖片，如圖1（a）、圖1 （b）所示，被用于訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)結(jié)合邏輯回歸的識別模型；該模型能夠?qū)⒔^大部分的正確圖片分類，但卻將雪地背景中的哈士奇誤判為狼，如圖1（c）所示；對該模型的可解釋性研究揭示，如圖1（d）所示，該識別器從訓(xùn)練數(shù)據(jù)中學(xué)到“可以將圖片中的大面積白色背景（雪地）作為識別狼的依據(jù)”！
識別模型之所以學(xué)到了這個判決依據(jù)，是因?yàn)橛?xùn)練樣本中所有的狼都是在雪地背景上的，而哈士奇不是。
圖1
在實(shí)驗(yàn)中，人類評判員了解到這樣的判決依據(jù)后，對該模型的信任度下降到 11%，即使模型的判別準(zhǔn)確率達(dá)到 90% 以上[1]。
從這個簡單的實(shí)驗(yàn)可以看出，了解人工智能模型的正確決策機(jī)制，是提升人類對人工智能模型信任度的重要方法。
而現(xiàn)有人工智能可解釋性的研究成果揭示，基于數(shù)據(jù)驅(qū)動的人工智能系統(tǒng)決策機(jī)制，離取得人類信任這一終極目標(biāo)，至少還存在機(jī)器學(xué)習(xí)決策機(jī)制的理論缺陷、機(jī)器學(xué)習(xí)的應(yīng)用缺陷、人工智能系統(tǒng)未能滿足合規(guī)要求三方面的差距。
圖1的實(shí)驗(yàn)結(jié)果揭示出，如果僅僅是在輸入數(shù)據(jù)（如“狼”的樣本）和 預(yù)期結(jié)果（“狼”的識別結(jié)果）之間建立（概率）關(guān)聯(lián)（Association），由于數(shù)據(jù)樣本普遍存在局限和偏見（bias），這種關(guān)聯(lián)學(xué)習(xí)不可避免地會學(xué)到一種虛假關(guān)系（Spurious Relationship），比如狼與雪地背景的相關(guān)性。
而以此作為決策依據(jù)的模型可能在大部分測試數(shù)據(jù)上表現(xiàn)良好，但其實(shí)并沒有學(xué)到基于正確因果關(guān)系的推理決策能力，在面對與訓(xùn)練樣本不一致的情況時(shí)，其表現(xiàn)就會大失水準(zhǔn)。
按照2011年圖靈獎得主、加利福尼亞大學(xué)洛杉磯分校計(jì)算機(jī)系Judea Pearl 教授的觀點(diǎn)[2–4]，這種基于關(guān)聯(lián)分析（Association）的學(xué)習(xí)方式是一種低層次的認(rèn)知，而為了從可能存在虛假關(guān)系的概率關(guān)聯(lián)中進(jìn)一步甄別出真正的因果關(guān)系，需要通過主動干預(yù)（Intervention）實(shí)驗(yàn)來拓展觀測現(xiàn)象，并運(yùn)用反事實(shí)推理（Counterfactual Reasoning）去偽存真，發(fā)現(xiàn)其內(nèi)在因果關(guān)系。
如圖2所 示，Judea Pearl教授將這樣的因果推理學(xué)習(xí)概括為從低到高的三個認(rèn)知層次。
圖2
按照這個理論架構(gòu)，當(dāng)前以深度學(xué)習(xí)為代表的數(shù)據(jù)驅(qū)動式機(jī)器學(xué)習(xí)尚停留在第一個層次，亟待引入主動干預(yù)和反事實(shí)推理等方法來厘清并強(qiáng)化智能決策的內(nèi)在因果關(guān)系，進(jìn)一步提升模型可信度。
在實(shí)際應(yīng)用層面，通過刷海量數(shù)據(jù)的填鴨式學(xué)習(xí)得到的人工智能系統(tǒng)存在一系列隱患，并可能引發(fā)嚴(yán)重的社會問題：
首先，由于數(shù)據(jù)樣本收集的局限和偏見，導(dǎo)致數(shù)據(jù)驅(qū)動的人工智能系統(tǒng)也是有偏見的，這種偏見甚至無異于人類社會中的偏見。比如，芝加哥法院使用的犯罪風(fēng)險(xiǎn)評估算法 COMPAS 被證明對黑人犯罪嫌疑人造成 了系統(tǒng)性歧視，白人更多被錯誤地評估為具有低犯罪風(fēng)險(xiǎn)，而黑人被錯誤地評估為具有高犯罪風(fēng)險(xiǎn)，且黑人的概率比白人高出一倍[5]。將個人的前途命運(yùn)托付給這樣有偏見的人工智能系統(tǒng)，既損害了社會公平，又會引起社會群體的矛盾對立。
其次，雪上加霜，“黑盒”似的深度神經(jīng)網(wǎng)絡(luò)還常常犯一些十分低級的、人類不可能犯的錯誤，表現(xiàn)出安全性上的潛在風(fēng)險(xiǎn)。如圖3 所示，一個深度神經(jīng)網(wǎng)絡(luò)原本能夠正確識別圖片中有一輛校車，但在對少量圖片像素做一些人眼不能察覺的改動之后，圖片就被識別為鴕鳥[6]。更有甚者，人們只要戴上一副特制的眼鏡，在現(xiàn)實(shí)環(huán)境中就能夠騙過使用深度神經(jīng)網(wǎng)絡(luò)的人臉識別系統(tǒng)[7]；考慮到人臉識別系統(tǒng)在金融支付等場景中的廣泛應(yīng)用，這種潛在的金融和社會風(fēng)險(xiǎn)令人不寒而栗。
最后，最重要的是從決策機(jī)制來看，當(dāng)前對深度學(xué)習(xí)算法的分析還處于不透明的摸索階段。尤其是擁有億萬個參數(shù)的超大規(guī)模預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)， 如BERT[8]、GPT3[9] 等，其決策過程在學(xué)術(shù)上仍然沒有清晰的說明。這種“黑盒”似的深度神經(jīng)網(wǎng)絡(luò)暫時(shí)無法獲得人類的充分理解與信任，大規(guī)模應(yīng)用此類預(yù)訓(xùn)練模型的潛在風(fēng)險(xiǎn)不容忽視。
圖3
從這些風(fēng)險(xiǎn)可以看出，現(xiàn)在的人工智能系統(tǒng)總體上仍然不能獲得人們足夠的信任，不能放心地被大規(guī)模部署應(yīng)用。尤其是在金融、醫(yī)療、法律等AI 決策能夠產(chǎn)生重大影響、風(fēng)險(xiǎn)極高的領(lǐng)域，人們期待一種能夠合理解釋其決策機(jī)制及過程的人工智能系統(tǒng)，也就是可信賴的人工智能，能夠獲得普羅大眾的信任和認(rèn)可，并得以和諧地融入人類社會的方方面面。
事實(shí)上，在金融、醫(yī)療和法律等重大領(lǐng)域，已經(jīng)對人工智能系統(tǒng)應(yīng)用風(fēng)險(xiǎn)的防范和監(jiān)管立法，已經(jīng)在逐步加強(qiáng)和實(shí)施落實(shí)。
比如，歐盟高級人工智能專家組起草的《可信人工智能道德原則指導(dǎo)》指出[10]，可信人工智能系統(tǒng)必須滿足七個方面的要求：
人類監(jiān)管糾錯
技術(shù)安全及魯棒
隱私保護(hù)和數(shù)據(jù)治理
透明及可解釋
算法公平及無歧視
環(huán)保及社會影響
問責(zé)制度
中國新一代人工智能治理專業(yè)委員會在2019年6月發(fā)布的《新一代人工智能治理原 則——發(fā)展負(fù)責(zé)任的人工智能》政策文件中指出，要突出發(fā)展負(fù)責(zé)任的人工智能，強(qiáng)調(diào)公平公正、尊重隱私、安全可控等八條原則，因此，提高可解釋性成為推廣智能模型在各行各業(yè)應(yīng)用的必由之路[11]。
在金融領(lǐng)域，荷蘭中央銀行在2019年7月發(fā)布的《金融行業(yè)人工智能應(yīng)用一般原則》中，提出了穩(wěn)健、問責(zé)、公平、道德倫理、專業(yè)和透明六個方面的技術(shù)應(yīng)用原則。
中國人民銀行在《金融科技（FinTech）發(fā)展規(guī)劃（2019– 2021）》中也明確提出“健全人工智能金融應(yīng)用安全監(jiān)測預(yù)警機(jī)制，研究制定人工智能金融應(yīng)用監(jiān)管規(guī)則，強(qiáng)化智能化金融工具安全認(rèn)證，確保把人工智能金融應(yīng)用規(guī)制在安全可控范圍內(nèi)”[12]。
更進(jìn)一步，中國人民銀行在 2021年3月發(fā)布的《人工智能算法金融應(yīng)用評價(jià)規(guī)范》中明確提出，人工智能建模的可解釋性主要集中于算法建模準(zhǔn)備、建模過程、建模應(yīng)用提出基本要求、評 價(jià)方法與判定準(zhǔn)則等過程[13]。新加坡及中國香港的金融監(jiān)管部門，均要求使用金融科技的機(jī)構(gòu)對其技術(shù)標(biāo)準(zhǔn)和使用方式進(jìn)行審慎的內(nèi)部管理，并對其用 戶履行充分的告知和解釋義務(wù)，確保金融產(chǎn)品消費(fèi)者的知情權(quán)（更多金融行業(yè)可解釋人工智能內(nèi)容，參見《可解釋人工智能導(dǎo)論》一書第 7 章）。
在醫(yī)療領(lǐng)域，美國FDA在2021年1月發(fā)布《基于人工智能/機(jī)器學(xué)習(xí)的 醫(yī)療器械軟件行動計(jì)劃》，提出了良好機(jī)器學(xué)習(xí)質(zhì)量管理規(guī)范（Good Machine Learning Practice，GMLP），提倡以患者為中心提高產(chǎn)品透明度，加強(qiáng)對算法偏差和魯棒性的監(jiān)管，推動真實(shí)世界性能監(jiān)測。
中國國家藥品監(jiān)督管理局依托人工智能醫(yī)療器械標(biāo)準(zhǔn)化技術(shù)歸口單位推動人工智能醫(yī)療器械標(biāo)準(zhǔn)規(guī)范的建立，其出臺的《人工智能醫(yī)療器械質(zhì)量要求和評價(jià)——第 2 部分：數(shù)據(jù)集 通用要求》已經(jīng)在 2020 年進(jìn)入報(bào)批階段。該要求考慮了在人工智能可解釋性 方面的要求。
雖然對人工智能可解釋性的監(jiān)管要求已經(jīng)在法律和規(guī)章制度層面逐步完善，但如何將這些制度層面的規(guī)則具體細(xì)化落實(shí)為可實(shí)現(xiàn)的技術(shù)方案，仍是可解釋人工智能亟待研究和解決的挑戰(zhàn)。
參考文獻(xiàn)：
[1] RIBEIRO M T, SINGH S, GUESTRIN C. "why should i trust you?" explaining the predictions of any classififier[C]//Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016: 1135-1144.
[2] PEARL J, MACKENZIE D. The book of why: The new science of cause and effffect[M]. 1st ed. USA: Basic Books, Inc., 2018.
[3] PEARL J. Models, reasoning and inference[J]. Cambridge, UK: Cambridge University Press, 2000, 19.
[4] PEARL J. Bayesianism and causality, or, why i am only a half-bayesian[M]//Foundations of bayesianism. Springer, 2001: 19-36.
[5] Angwin, Julia; Larson, Jeffff. “machine bias”[EB/OL]. 2016. https://www.propublica.org/a rticle/machine-bias-risk-assessments-in-criminal-sentencing.
[6] SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al. Intriguing properties of neural networks[C/OL]//International Conference on Learning Representations. 2014. http: //arxiv.org/abs/1312.6199.
[7] CHEN X, LIU C, LI B, et al. Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning[J]. arXiv e-prints, 2017: arXiv:1712.05526.
[8] DEVLIN J, CHANG M W, LEE K, et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding[J]. arXiv e-prints, 2018: arXiv:1810.04805.
[9] BROWN T, MANN B, RYDER N, et al. Language models are few-shot learners[C/OL]// LAROCHELLE H, RANZATO M, HADSELL R, et al. Advances in Neural Information Processing Systems: volume 33. Curran Associates, Inc., 2020: 1877-1901. https://procee dings.neurips.cc/paper/2020/fifile/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf.
[10] European Commission High-Level Expert Group on Artifificial Intelligence. Ethics guidelines for trustworthy ai[Z]. 2019.。
[11] 人工智能治理專業(yè)委員會. 新一代人工智能治理原則——發(fā)展負(fù)責(zé)任的人工智能 [Z]. 2019.
[12] 中國人民銀行. 金融科技（FinTech）發(fā)展規(guī)劃（2019-2021 年）[Z]. 2019.
[13] 中國人民銀行. 人工智能算法金融應(yīng)用評價(jià)規(guī)范 [Z]. 2021.
本文摘自《可解釋人工智能導(dǎo)論》一書，歡迎閱讀本書了解更多相關(guān)內(nèi)容！
粉絲專享購書碼，下單即減63元！
如果喜歡本文 歡迎 在看丨留言丨分享至朋友圈 三連 熱文推薦
▼點(diǎn)擊閱讀原文，了解本書詳情~