文：许志仲（国立屏东科技大学资讯管理系助理教授）、庄易修（国立屏东科技大学资讯管理系硕士生）
此篇报导为新兴科技媒体中心与《工商时报》合作，并刊载于〈科学家新视野专栏－AI伪造影像带来的危机〉
2012年以来，深度学习（Deep Learning）技术大爆发，电脑视觉（Computer Vision）与其他许多研究领域，纷纷投入深度学习的怀抱。
2014年，一种名为对抗生成网路（Generative Adversarial Nets, GANs）的概念被提出来，用于生成各种拟真的影像。自此之后，许多研究者纷纷投入GANs的改良研究，企图发展出更拟真的影像或视讯。
究竟GANs带来什么问题，有哪些最新研究趋势可以解决？
GANs是双面刃
就如同所有的技术一样，若被不当的使用，可能引发不可想像的严重后果。2018年，经过4年的改良，已经可以很容易生成非常逼真、且具有足够解析度的伪造影像。如图一所示，对于大多数的使用者来说，很难在短时间内辨识出真伪。
这也是GANs首度有接近自动化的能力，可以自动生成一个不存在的人的视讯资料；也可自动将既有的影片换上特定的脸部特徵。虽然早期是用于研究目的，且具有某些实用价值，例如生成人脸或生成任何影像，来扩充原本训练影像不够的情况，解决AI无法良好学习的问题。但不当使用却会带来严重的后果，特别是伪造合成的人脸影像。
例如，它可以用于Facebook或其他社群网站上，创建虚假的个人帐户，并且使用合成的脸部图像，来混淆某事或欺骗某人。更进一步的，GANs可能会用于创造和任何着名政治家十分相似的合成脸部，来发表演讲影片，造成社会、政治和商业活动的严重问题。
一个很好的例子是「Deepfake」以及相关的应用，被广泛用在许多不恰当的地方，例如合成色情影视讯等，已经严重危害到现今社群网路上的媒体可靠性。
根据一则最近的新闻指出，这类Deepfake软体合成出的伪造影片，甚至有机会影响选情（注1）。深度学习此类型的AI技术，特别是GANs，是把双面刃。既可应用于扩增资料、增强影像还原技术等正面研究，亦可刻意生成不当的影视讯来混淆视听、造成社会动乱。此一严重性，不可不正视之。
伪造影像的侦测与防治
在，对于伪造影像侦测的研究有限。2018年还尚未有任何学术论文，开始探讨伪造影像所带来的危害。全球也尚未开始重视伪造影像带来的危害与问题。
2018年中后段，全球才开始有一些研究团队意识到此问题之重要性，因此纷纷开始投入人力研究，利用AI来反制AI的伪造影像。一般来说，大多数的研究会採取监督式学习（Supervised Learning），将伪造影像辨识出来，方法上与其他做影像辨识的任务并无差别。
由于GANs改良的研究日新月异，要蒐集所有的GANs来训练将旷日废时。此外，若未来又有新的GANs产生，则伪造人脸检测器便须重新训练。
与以往纯监督式学习截然不同的策略之一，是採用成对学习（Pairwise Learning）[3）的概念，试图去找出不同GANs网路之间存在的共同瑕疵。藉此便可不需要蒐集所有的GANs，当新的GANs被提出来之后，亦不需要重新训练伪造人脸检测器。
我们首先在2018年中，研发出透过对比损失函数（Contrastive Loss），来学习五个具有代表性的GANs伪造影像的共同特徵，藉此来训练伪造人脸侦测器，可达八成五以上的準确率（注4）。2018年底我们改进方法后，引入三元损失函数（Triplet Loss）来强化共同伪造特徵的学习，并针对深度学习网路，提出了双重神经网路（Coupled Network）来加强效能。此项成果，更可达到约九成到九成五的準确率（注5）。
未来，这一类的伪造人脸影像侦测器可结合社群网路或媒体，审核上架照片、影片视讯的内容。若内容可能为伪造影像，则可进一步透过人工检视、或是自动屏蔽，降低不实的影视讯在网路上流窜的机率，进而达到伪造影像的防治。
全球联手对抗伪造影像
2019年初国际上开始重视这类议题，其中最早重视此议题的是慕尼黑工业大学，和义大利拿坡里费德里克二世大学，在2019年1月提出的伪造人脸资料库：Face Forensic++（注6）。
2019年10月，微软以及Facebook宣布，携手建立Join the Deepfake Detection Challenge（DFDC）。DFDC的主要目的跟FaceForensic一样，都是希望可以透过举办竞赛，收集全球有志人士针对侦测伪造影像视讯内容的演算法，并提高大家对于这些伪造影像的认知。
或许接下来会出现一个新的GANs，其效果远超越过去的GANs，使得所有的伪造影像侦测器都失效。亦有可能，有共同目标的研究团队，能发现GANs这类型伪造影像的致命缺点，瞬间止住伪造影像的流窜。然而我们可以确定的一点是，AI的攻防战会继续持续下去。
注释 Evan Halperstaff. (2019,11,05). Deep fake videos could upend an election — but Silicon Valley may have a way to combat them. Losangelas times. Karras, T., Aila, T., Laine, S., & Lehtinen, J. (2017). Progressive growing of gans for improved quality, stability, and variation. arXiv preprint arXiv:1710.10196. 成对学习与「配对法排序学习演算法Pairwise Learning to Rank」两者是不同的方法，但Pairwise learning也有人翻译成配对学习。 Hsu, C. C., Lee, C. Y., & Zhuang, Y. X. (2018, December). Learning to Detect Fake Face Images in the Wild. In 2018 International Symposium on Computer, Consumer and Control (IS3C) (pp. 388-391). IEEE. Zhuang, Y. X., & Hsu, C. C. (2019, September). Detecting Generated Image Based on a Coupled Network with Two-Step Pairwise Learning. In 2019 IEEE International Conference on Image Processing (ICIP) (pp. 3212-3216). IEEE. FaceForensic++是资料库全名，FaceForensic则是代表该收集资料库的计画名称。
本文经新兴科技媒体中心授权刊登，原文刊载于此