这项研究的实际意义是解决在手机，平板电脑和电视机中使用的深度学习模型缺乏透明度，并防止最终用户失去对系统的信任。
理工学院海德拉巴研究人员开发了一种方法，通过该方法可以从因果属性的角度理解人工智能模型的内部工作原理。“人工神经网络”(ANN)是模拟人类大脑工作的AI模型和程序，以便机器可以学习以类似人类的方式做出决策。现代人工神经网络，通常也称为深度学习(DL)，其复杂性大大增加，使得机器可以训练自己处理和学习作为输入提供给他们的数据，并且几乎与许多任务中的人类表现相匹配。然而，他们如何做出决策是未知的，因此当需要做出决策的原因时，它们就没那么有用了。
这项工作由Ieth Hyderabad计算机科学与工程系副教授Vineeth N. Balasubramanian及其学生Aditya Chattopadhyay，Piyushi Manupriya和Anirban Sarkar完成。他们的工作最近发表在第36届国际机器学习会议论文集上，该会议被认为是全球人工智能和机器学习领域评价最高的会议之一。
在谈到这项研究时，Vineeth Balasubramanian说：“我们所知道的深度学习(DL)最简单的应用是机器翻译，语音识别或人脸检测。它可以在手机，平板电脑，电视机等消费设备中实现基于语音的控制。新的算法正在被用于各种学科，包括工程学，金融学，人工感知和控制以及模拟。就像所取得的成就令人惊叹一样，还有一些挑战需要解决。“
在实际应用程序中接受此类深度学习模型的关键瓶颈，尤其是对风险敏感的应用程序，是“可解释性问题”。DL模型由于其复杂性和多层次而成为无法轻易破译的虚拟黑盒子。因此，当DL算法的运行出现问题时，即使不是不可能，故障排除也变得困难，Vineeth Balasubramanian说。
什么是DL算法?
DL算法在有限数量的数据上训练，这些数据通常与现实世界数据不同。
此外，训练期间的人为错误以及数据中不必要的相关性可能导致必须纠正的错误，这变得很难。
Vineeth Balasubramanian博士补充说：“如果被视为黑箱，就无法知道模型是否真正学会了概念或高精度是偶然的。”
DL模型缺乏透明度的实际意义是最终用户可能失去对系统的信任。
因此需要能够访问AI程序的下层并解开其结构和功能的方法。IIT Hyderabad团队使用因果推理和本领域已知的“结构因果模型”来解决ANN问题。
Balasubramanian博士解释了这方面的工作，他说：“感谢我们学生的努力和努力，我们提出了一种新的方法来计算输入神经元输入神经元的平均因果效应。了解哪个输入很重要参数对于给定的输出是“因果关系”的;例如在医学领域，如何知道哪个患者属性是心脏病发作的因果关系?我们(IIT Hyderabad研究人员)的方法提供了分析这种因果关系的工具“。
随着围绕人工智能伦理学的讨论的增加，DL模型工作的透明度和可理解性变得越来越重要，Balasubramanian博士补充说他的团队在“可解释的机器学习”方面的工作的重要性。这是有道理的，因为通用数据保护条例(GDPR)规定要求必须提供解释，如果机器学习模型用于对其公民，任何领域，，安全或健康做出的任何决策。
由IIT Hyderabad研究人员开发的用于理解DL模型工作的代码可以在https://piyushi-0.github.io/ACE/免费获得。该研究论文也可在https://arxiv.org/abs/1902.02302和http://proceedings.mlr.press/v97/chattopadhyay19a.html上公开获取。