采用人工智能的最大障碍之一是它无法解释预测的依据。当决策的推理对用户来说不言自明时，这些机器学习系统就是所谓的黑匣子。Meike Nauta，博士 特温特大学 EEMCS 学院数据科学组的候选人创建了一个模型来解决深度学习模型的黑盒性质。
算法已经可以做出准确的预测，例如医学诊断，但它们无法解释它们是如何得出这样的预测的。近年来，可解释的人工智能领域受到了很多关注。“对于许多应用程序来说，重要的是要知道模型是否使用正确的推理来获得某个预测。使用可解释的 AI，诸如“模型学到了什么?”和“模型如何获得这样的预测?”之类的问题很重要。 “可以回答，”诺塔说。
早期的可解释 AI 研究大多使用事后可解释性方法，其中模型在经过训练后被解释。一个相对较新的方向，几乎没有做过什么研究，是“内在可解释的机器学习”。这种方法的最大区别在于，可解释性已经被纳入模型本身。Nauta 一直在成功地开展这项工作!她开发了一种名为 Neural Prototype Tree 的模型，简称 ProtoTree，用于可解释的图像分类。这项研究为本质可解释的机器学习这个新的、需求量很大的领域做出了贡献，该领域可通过设计进行解释并如实展示其自身的推理。
它是如何工作的?
“该模型的推理基本上就像“猜猜是谁?”游戏，例如，你会问这个人是否有红头发。你会得到一个是或否的答案，然后你可以问下一个问题，”Nauta 说. ProtoTree 模型的工作原理相同。该模型已使用由 200 种不同鸟类的图像组成的数据集进行训练。当模型暴露于输入图像时，模型会寻找一种鸟类的匹配物理特征;例如，红色的胸部、黑色的翅膀和眼睛附近的黑色条纹的存在将被识别为 Vermillion Flycatcher。
据德国杜伊斯堡-埃森大学教授、该论文的合著者 Christin Seifert 说，这个过程类似于教孩子新事物。“例如，你告诉孩子照片中的动物是一只狗，但你没有告诉孩子它有什么物理特征。孩子只是根据一张狗的照片学习识别其他狗。”
好处
Nauta 说：“最大的优势之一是该模型逐步展示了其完整的推理，这使得跟踪模型如何进行特定预测成为可能。” “此外，它还显示了模型的选择依据究竟是什么——因此可以发现模型中的偏差。” 例如，ProtoTree 揭示了模型通过观察树叶的存在而学会区分水鸟和鸣鸟的偏差。通过显示模型的潜在偏差，机器学习算法的歧视得到了解决。
这种方法有什么新的地方?
该方法产生了一个决策树，这并不新鲜：决策树学习已经存在了几十年。然而，决策树并不是为处理图像数据而设计的，因此几乎不用于图像分类。“这里真正的新颖之处在于，每个决策点都包含一个易于解释且对人类有意义的小图像。此外，在决策点中被区分的所谓‘原型’是仅从示例图像数据中自动发现的，”特温特大学 EEMCS 学院副教授 Maurice van Keulen 说。神奇的是，在这个过程中不需要人类专家的理解，只需要一些示例图像。Van Keulen：“想象一下，你对鸟类一无所知，却得到了各种各样的鸟类照片。鸟有相应的名字，之后你必须写一本关于对鸟类进行分类的书。”
相比之下，在黑盒机器学习中，计算机是学习自己执行任务的学生。因此，它正在学习如何通过“预测”鸟类的名称来对鸟类进行分类。然而，在可解释的机器学习中，计算机成为可以教育人们的老师，而无需接受任何教育。
未来研究的动机
迄今为止，该模型已应用于汽车和鸟类的标准图像基准测试，但在未来的研究中，Nauta 希望将该模型应用于其他重要领域。“医疗保健将是一个有趣的领域，可以对 ProtoTree 模型的适用性进行进一步研究，例如在 X 射线上识别骨折，”Nauta 说。“理解模型的推理非常重要。当医生从 AI 接收治疗方法或诊断时，他们必须能够自己理解并验证推理。由于 ProtoTree模型能够做到这一点，对其在医疗领域的适用性进行研究将会很有趣。因此，我们目前正致力于特温特大学、ZGT(特温特医院集团)、埃森人工智能医学研究所和明斯特大学之间的跨学科合作。”