许多智能手机应用程序(例如语音转文本程序和Google Assistant)都由人工智能(AI)提供支持。公司还使用AI改善营销策略，向用户推荐产品和服务，甚至生成有关患者可能的健康风险的预测。
为了使AI系统能够提供此类见解，它们需要接受相关数据的培训，例如个人的购买习惯或医疗记录，其中可能包含有关个人的敏感信息。一旦训练了AI模型，它就不会保留任何原始训练数据。这样可以确保即使黑客撬开这些AI程序的内部功能，他们也不会收获任何敏感信息。
但是，近年来，安全和隐私研究人员表明，AI模型易受推理攻击的攻击，使黑客能够提取有关训练数据的敏感信息。攻击涉及黑客反复要求AI服务生成信息并分析数据的模式。一旦确定了模式，他们就可以推断出是否使用特定类型的数据来训练AI程序。使用这些攻击，黑客甚至可以重建最有可能用于训练AI引擎的原始数据集。
这种攻击正成为全球许多组织关注的问题。例如，2009年，国立卫生研究院(NIH)发生了类似的攻击，NIH必须更改其对敏感医学数据的访问策略。
新加坡国立大学计算机学院(NUS Computing)的助理教授Reza Shokri解释说：“由于系统仅假设黑客在提供信息时是常规用户，因此难以检测到推理攻击。因此，公司目前无法知道他们的AI服务是否有风险，因为目前没有现成的成熟工具。”
机器学习隐私权评估仪评估攻击风险
为了解决这个问题，同时也是国大年轻教授的Shokri教授及其团队开发了一种成熟的开源工具，可以帮助公司确定其AI服务是否易受此类推理攻击。该分析基于所谓的成员资格推断攻击，旨在确定特定数据记录是否为模型训练数据的一部分。通过模拟这样的攻击，隐私分析算法可以量化模型在其训练集中有关各个数据记录泄漏的程度。这反映了尝试完全或部分重建数据集的不同攻击的风险。它会生成大量报告，尤其是在所使用的培训数据中突出显示脆弱区域。
通过分析隐私分析的结果，该工具可以提供一个记分卡，该记分卡详细说明了攻击者如何准确地识别用于训练的原始数据集。记分卡可以帮助组织识别其数据集中的薄弱环节，并显示其可以采用的技术方法的结果，从而可以预先采用这种技术来减轻可能的成员推断攻击。
NUS团队创造了该工具，即机器学习隐私表(ML Privacy Meter)，而创新的突破是开发了标准的通用攻击公式。这个通用的攻击公式为他们的AI算法提供了一个框架，该框架可以正确测试和量化各种类型的成员推断攻击。该工具基于NUS团队在过去三年中领导的研究。在此方法开发之前，还没有标准化的方法来正确测试和量化机器学习算法的隐私风险，这使得难以提供切实的分析。
“在使用敏感数据构建AI系统时，组织应确保充分保护在此类系统中处理的数据。我们的工具可帮助组织在部署AI系统之前进行内部隐私风险分析或审计。此外，还应遵守通用法规等数据保护法规“数据保护法规”要求在使用机器学习时评估数据的隐私风险。我们的工具可以通过生成数据保护影响评估报告来帮助公司实现法规遵从性。”
Shokri教授和他的合著者先前在IEEE安全与隐私研讨会上介绍了支持该工具的理论工作，这是安全与隐私领域最负盛名的会议。
展望未来，Shokri助理教授将带领一个团队与行业合作伙伴合作，探索将ML隐私保护仪集成到其AI服务中。他的团队还在研究算法，这些算法可以训练AI模型，这些AI模型通过设计来保护隐私。