隨著人工智慧系統越來越多地為醫療保健、金融、法律和刑事司法領域的決策提供資訊，它們需要為人類可以理解的行為提供理由。隨著監管機構將批判的目光轉向黑盒人工智慧系統及其創造者，“可解釋人工智慧”領域獲得了動力。但是一個人的背景如何影響對人工智慧解釋的看法是一個仍未得到充分探索的問題。
由康奈爾大學、IBM 和佐治亞理工學院的研究人員共同撰寫的一項新研究旨在闡明可解釋性和可解釋性人工智慧的交叉點。關注兩個群體——一個有人工智慧背景，一個沒有——他們發現，他們都傾向於過度信任人工智慧系統，並誤解人工智慧系統如何做出決定的解釋。
研究人員寫道：“這些見解具有潛在的負面影響，例如容易對使用者信任進行有害操縱。” “透過讓有意識地意識到人工智慧背景如何以及為何塑造可解釋人工智慧中潛在創造者和消費者的看法，我們的工作在推進以人為中心的多元化可解釋人工智慧話語方面邁出了形成性的一步。”
可解釋的人工智慧
儘管 AI 社群尚未就可解釋性和可解釋性的含義達成共識，但可解釋性 AI 的共同目標是使系統的預測和行為更易於人們理解。例如，解釋生成方法利用要解釋的模型的簡單版本或關於模型的元知識，旨在透過提供非 AI 專家可以理解的簡單英語原理來闡明模型的決策。
在先前研究的基礎上，合著者假設認知負荷和對人工智慧的普遍信任等因素可能會影響使用者對人工智慧解釋的看法。例如，在 2020 年 ACM 上接受的一項關於人機互動的研究發現，解釋可能會造成錯誤的安全感和對人工智慧的過度信任。在另一篇論文中，研究人員發現數據科學家和業務分析師對 AI 系統準確度分數的看法不同，分析師錯誤地將分數視為整體效能的衡量標準。
為了驗證他們的理論，康奈爾大學、IBM 和佐治亞理工學院的合著者設計了一個實驗，參與者觀察虛擬機器器人執行相同的動作序列，這些動作序列的不同僅在於機器人“大聲思考”他們的動作的方式。在類似電子遊戲的場景中，機器人必須穿過滾滾巨石和流動熔岩河流，為被困太空探險者取回必需的食物供應。
上圖：研究人員為他們的實驗創造的類似電子遊戲的環境。
其中一個機器人用簡單的英語解釋了其行為背後的“原因”，提供了一個基本原理。另一個機器人沒有理由地陳述其行為（例如，“我將向右移動”），而第三個僅給出描述其當前狀態的數值。
該研究的參與者——96名參加了計算機科學和人工智慧課程的大學生和 53 名 Amazon Mechanical Turk 使用者——被要求將自己想象成太空探索者。他們被困在一個不同的星球上，不得不留在一個保護穹頂內，這是他們唯一的生存來源，一個有食物供應的偏遠倉庫。
研究人員發現，兩組的參與者都傾向於對數字抱有“毫無根據”的信心。例如，AI 組的參與者通常認為數學表示的價值比合理的要多，而非 AI 組的參與者認為數字表示智慧——即使他們無法理解其中的含義。換句話說，甚至在AI組，相關人僅僅存在與邏輯，智慧和理性的統計資料。
研究人員在研究中總結道：“人工智慧小組過度地將診斷價值歸因於 ［機器人］ 的數字，即使它們的含義尚不清楚。” “這種看法表明表達方式……如何影響對人工智慧代理的解釋的看法，我們在判斷智慧時看到規範概念（例如，客觀與主觀）的預測。”
兩組都更喜歡用語言交流的機器人，尤其是為其行為提供理由的機器人。但是這種更像人類的交流方式導致參與者將情商歸因於機器人，即使沒有證據表明機器人正在做出正確的決定。
結論是，AI 解釋的力量在旁觀者的眼中和在設計師的腦海中一樣重要。研究人員表示，人們的解釋意圖和常見的啟發式方法與設計師的預期目標一樣重要。結果，人們可能會在設計師從未想過的地方找到解釋價值。
“在上下文中理解設計師目標和使用者意圖之間的錯位是促進有效的人機協作的關鍵，尤其是在可解釋的人工智慧系統中，”合著者寫道。“當人們學習特定的做事方式時，它也會改變他們自己的認知方式——事實上，正如我們在本文中所討論的，人們的 AI 背景會影響他們對解釋某事的意義以及如何解釋的看法……解釋中的‘能力’ -能力取決於誰在看它，並從人類和解釋之間的意義創造過程中產生。”
解釋的重要性
鑑於歐盟委員會人工智慧高階專家組 （HLEG） 和美國國家標準與技術研究所等機構為建立“可信賴的人工智慧”制定標準而做出的努力，結果非常顯著。可解釋性繼續成為採用 AI 的公司的主要障礙。據FICO 稱，65% 的員工無法解釋 AI 模型的決策或預測是如何做出的。
如果沒有精心設計的可解釋性工具，人工智慧系統就有可能對現實世界造成傷害。例如，斯坦福大學的一項研究推測，臨床醫生濫用人工智慧醫療裝置進行診斷，導致結果與預期不同。The Makeup最近的一份報告揭示了美國抵押貸款批准演算法中的偏見，導致貸方比白人申請人更頻繁地拒絕有色人種。
合著者主張對 AI 可解釋性採取“社會技術知情”方法，將社會組織背景等事物納入決策過程。他們還建議研究減少對解釋中感知差異的操縱的方法，以及透過教育努力確保專家對人工智慧系統持有更批判性的觀點。
“人工智慧系統的可解釋性對於灌輸適當的使用者信任和促進追索至關重要。”究人員寫道，人工智慧背景的差異有可能加劇設計師想象使用者會如何適當解釋與使用者實際解釋和使用它們之間的差異所帶來的挑戰。
更多相關知識，請搜尋“眾壹雲”
