机器学习(ML)方面的最新成功导致了人工智能(AI)应用的新潮流，这些应用为各个领域提供了广泛的好处。但是，这些系统中的许多系统无法向人类用户解释其自主决策和行动。对于某些AI应用程序，解释可能不是必需的，并且一些AI研究人员认为，对解释的强调是放错了位置，太难实现甚至可能是不必要的。然而，在国防，医药，金融，法律等许多关键应用，解释是必要的，便于用户理解，信任，并有效地管理这些新的人工智能伙伴[查看最近的评论(1-3)]。
人工智能的最新成功很大程度上归功于以内部表示构造模型的新ML技术。这些包括支持向量机(SVM)，随机森林，概率图形模型，强化学习(RL)和深度学习(DL)神经网络。尽管这些模型表现出很高的性能，但在可解释性方面却是不透明的。机器学习性能(例如预测准确性)与可解释性之间可能存在内在冲突。通常，性能最高的方法(例如DL)是最难以解释的，而最具解释性的(例如决策树)则是最不准确的。图1用一些ML技术的性能-可解释性折衷的概念图说明了这一点。
可解释的AI(XAI)系统的目的是通过提供解释使人类的行为更易于理解。有一些通用原则可以帮助创建有效的，更易于理解的AI系统：XAI系统应该能够解释其功能和理解;解释它做了什么，现在正在做什么以及接下来将发生什么;并公开其作用的显着信息(4)。
但是，每种解释都在取决于AI系统用户的任务，能力和期望的上下文中进行设置。因此，可解释性和可解释性的定义取决于领域，并且不能独立于领域进行定义。解释可以全部或部分。完全可解释的模型给出完整而完全透明的解释。部分可解释的模型揭示了其推理过程的重要部分。可解释的模型服从根据域定义的“可解释性约束”(例如，关于某些变量和相关变量的单调性服从特定的关系)，而黑盒或不受约束的模型则不一定服从这些约束。部分解释可能包括重要程度的变化，
用户的期望
XAI假定根据AI系统的决策，建议或操作向最终用户提供了解释，但是可能会有许多不同类型的用户，通常在系统开发和使用的不同时间点(5)。例如，一种类型的用户可能是情报分析师，法官或操作员。但是，需要系统解释的其他用户可能是开发人员或测试操作人员，他们需要了解可能需要改进的地方。但是，另一个用户可能是决策者，他们正在尝试评估系统的公平性。每个用户组可以具有首选的解释类型，该解释类型能够以最有效的方式传达信息。有效的解释将考虑系统的目标用户组，他们的背景知识和对所要解释内容的需求可能会有所不同。
解释性—评估和测量
已经提出了许多评估和衡量解释有效性的方法。但是，目前尚没有测量XAI系统是否比非XAI系统更能使用户理解的通用方法。从用户的角度来看，这些度量中的一些是主观度量，例如用户满意度，可以通过对说明的清楚性和实用性进行主观评估来度量。更有效率的客观解释可能是任务执行;即，说明是否改善了用户的决策能力?可靠，一致地衡量解释的影响仍然是一个开放的研究问题。XAI系统的评估和衡量包括评估框架，共同点[不同的思维和相互理解(6)]，常识和论证[为什么(7)]。