基于生成对抗网络的图像检索对抗攻击

 

在计算机视觉领域中,深度学习已经成为从自动驾驶汽车到监视和安全等应用的主要手段。虽然深度神经网络在解决复杂问题上已经表现出非凡的成功,但研究表明,它们很容易受到对抗攻击,这种攻击的形式是对输入添加细微干扰,导致神经网络模型预测出不正确的输出。对于图像来说,这样的扰动往往因为太过细微而难以被人类肉眼所察觉,但它完全欺骗了神经网络模型,成为生产生活的潜在威胁。作为计算机视觉的一个分支,基于内容的图像检索系统同样面临着对抗攻击的威胁。

适应性指定目标攻击生成对抗网络(Adaptive Targeted Attack Generative Adversarial Network,ATA-GAN)是一种使用了非对称特征集成模块来增强目标和原图的特征识别与融合,实现图像检索对抗攻击的方法,该方法做出了以下贡献:

1. 针对基于内容的图像检索,提出了一种自适应生成目标对抗样本的方法,ATA-GAN首先实现了对多种指定目标的攻击;

2. ATA-GAN引入了一个基于注意力的特征集成模块,从原始图像和目标图像中选取有区别的特征来产生干扰;

3. ATA-GAN在多个数据集上有成功的攻击效果,对抗样本和目标图像RankList之间的相似度超过91.2%。

图一:ATA-GAN的网络结构

ATA-GAN的网络结构如图所示,生成器和判别器的编解码器结构类似于pix2pix模型。但是不同于pix2pix模型,本方法将GAN发展为有条件的GAN(conditionalGAN,CGAN),并将目标图像作为辅助输入。在此基础上,设计了网络特征集成模块,对目标和原始图像进行识别特征的选择。与图像分类任务不同的是,在图像检索数据集中没有标签,因此ATA-GAN采用目标图像的全局描述符来帮助训练生成器。

图二、特征集成模块

特征集成模块(Feature Integration Module,FIM)用于在忽略原图的特征的同时更多地关注目标图像的特征。整个模块为非对称结构,以保证目标图像作为网络的条件输入和产生扰动的基础,架构如图二所示。

总而言之,该模型可以针对任何输入目标和原始图像产生有针对性的对抗样本。不同于单一目标攻击方法,改变目标需要对模型进行再训练, ATA-GAN只训练一次就可以攻击多个目标。此外,ATA-GAN还引入了特征集成模块,探讨了原图与目标之间的相互关系。实验在SfM120k数据集上进行训练,在Oxford5k和Paris6k数据集上进行测试。结果表明了该攻击方法的有效性。ATA-GAN的对抗攻击结果样例如图三所示。第一行是Target在Oxford5k上的RankList的top10,第二行是由Origin和Target生成的对抗样本的top10,最后一行是由随机Noise和Target生成的对抗样本的top10。红色边框内的图像不在Target的top10中。

222222

图三、ATA-GAN的对抗攻击结果