kurffzhou作家

AI 终究是怎样「念」的?

近来,Nature发外了一篇关于深度进修系统被诈骗的新稳喻品,该文指出了对立样本保管的广泛性和深度进修的软弱性,以及几种可以的办理方法。平安平台部根底研讨组自2017年来对立样本的生成及防守方法举行了深化研讨,这里团队通过攻击方面的体验,分享我们关于防守对立样本的少许考虑,接待配合议论。

深度进修实行生存中的运用越来越广,然而越来越众的例子外明,深度进修系统很容易受到对立样本的诈骗。那么,AI终究是怎样“念”的?为什么这么容易被骗?

要答复这个题目,我们起首看图片来做个小实行——

图1
  • 图1左图:原始图片(图片根源:ImageNet数据集)

  • 图1中图:部分块保持像素的构造稳定,可是全体图像的全部构造改动

  • 图1右图:部分块的像素的构造改造,可是全体图像的全部构造稳定

关于这三幅图,神经收集会“认为”图1中图图1右图哪张图片更与图1左图是同等的呢?

毫无疑问,关于人的直觉来说,相对图1中图而言,图1右图更与图1左图同等,因为人类广泛偏向于对全体图像的构造举行识别。

然而我们通过统计实行发明,应用神经收集举行预测,图1中图的预测结果更加偏向于与图1左图的预测结果保持同等。可睹,人与板滞对图片的识别结果保管较大差别。

为了深化标明这种差别,下文起首对深度进修常用的模子举行简单先容,再对深度进修模子所进修取得的特征举行可视化来标明深度进修模子图像方面的优势,并通过相关实行研讨深度进修模子终究“念”什么、进修了什么。

1、深度进修常用模子以及特征可视化

深度进修常用模子之一的Alexnet模子:Alexnet模子通过众层卷积以及max-pooling操作,着末通过全连层取得着末预测结果,通过盘算耗损L来描写收集预测结果与我们人工标注种另外差别大小,然后通过盘算耗损对可进修参数的梯度,通过梯度下降的方法来更新收集的权重,直到耗损L下降到收集预测的结果与我们人工标注差别很小时,即神经收集通过对输入图像的层层卷积、max-pooling、全连等操作取得了准确的结果。

图2:Alex收集构造(图片根源:文献9)

我们起首对众种差别类型的收集(AlexNet, ResNet等)的底层卷积核举行可视化,我们发明这些底层特征保管必定的共性:这些收集底层卷积核都提取梯度、颜色等部分方式,对应图像中边和线等,如图3所示。

图3:神经收集底层卷积核可视化(图片根源:链接11)

为了可视化高层特征,我们通过梯度上升优化目标函数的方法来直观看法高层特征所对应的直观图像。我们起首将图像初始化为0,并通过盘算如图4中耗损函数对图像的梯度,并不时改正图像像素就会取得图5中的可视化结果。这些图外示,要使得最终某类的分数最大,那么所对应的输入图像应当是什么式样,从图5中可以直观看出大约所属种别洗衣机、键盘、狐狸、鹅、鸵鸟以及轿车。假如我们换一种思索特征众面性的可视化方法,就可以取得一个更加分明的可视化图,从中可以更加分明、直观地看出所属种别差别目标的特征,如图6所示。

图4:神经收集高层特征的运用方法(图片根源:链接11)

图5:高层特征可视化结果(图片根源:文献12)
图6:差别目标特征可视化结果(图片根源:文献13)



2、深度进修模子终究进修了什么?

那么,深度进修模子终究都进修什么呢?

起首输入一张平常图像,我们通过放大的方法来可视化神经收集看到的方式:起首将原始图片通过神经收集举行盘算,取得目今图片的输出结果,然后用梯度上升的方法最大化该输出结果,应用如图4中所运用的方法,着末取得如图8所示的结果。

图7:自然景色图片(图片根源:链接14)

从图中可以看出,神经收集对输入图像中的颜色和纹理举行了语义种另外放大,并发生对应的语义了解。比如,山的区域,神经收集举行了修筑以及动物的标明,天空区域有某些海洋生物的标明。可是因为这幅输入图像的这种标明所发生的特征呼应并没有抵达必定的程度,于是不会影响着末收集的识别,即神经收集不会把山那块区域识别成动物等。

图8:DeepDream结果(图片根源:链接14)

从上述可视化的结果可以看出,神经收集是对纹理颜色等举行了语义的了解,但并没有分明对全部的样式等新闻举行了了解,近来一系列义务都外清楚这点,比如Geirhos, Robert等人指出,ImageNet预教练的收集对纹理保管偏向,他们应用实行做了阐明:如下图所示:

图9:纹理实行(图片根源:文献2)

第一幅没有任何全部样式的新闻,神经收集预测该幅图像为大象,关于第二幅图像预测为猫,关于第三幅图像,神经收集仍然预测为大象,尽管人可以会识别出是一只猫,于是从这个比照实行中可以看出,神经收集更偏向于对纹理等新闻举行了语义了解。

本文开端的小实行也进一步验证了这个假设:部分纹理的打乱,可以分明摧毁神经收集的高层语义了解,可是全部构造的打乱并不行分明摧毁神经收集的语义了解。

3、对立样本生成

那么,一般是怎样生成对立样本呢?主要有两种方法:

1)基于梯度的方法:一般采用相似可视化的方法,只不过优化的目标差别,通过梯度更新的方法使得耗损变大,并将生成纹理扰动叠加到原始图像上取得对立样本。比较常用的方法有FGSM,BIM,基于momentum的方法,基于所有图片的梯度举行腻滑的方法UAP,以及我们为理办理黑盒迁移性提出的TAP方法,这类方法速率较慢,一般通过众次迭代取得对立样本,这类方法简单易扩展到其他义务。

2)基于神经收集对立样本生成方法:采用神经收集直接输出对立样本,比如,AdvGAN、ATN等方法。这类方法的速率较速,但因为神经收集参数固定后生成的对立样本会保管不丰厚的题目。

4、怎样避免“被骗”?

如Nature新闻中所说,不停的到场对立样本教练可以取得对对立样本的鲁棒性吗?我们给出谜底是NO。关于对立教练生成的模子,我们论文中的方法曾经实行标明无法扛住低频扰动的对立样本,文献3通过大宗的实行也已标明,NIPS 2017对立样本挑衅赛中所运用的防守方法都无法防住包罗低频扰动的对立样本

另外,底层图像去噪这种方法也是奏效甚微。底层图像去噪只可避免高频的噪声的对立样本,关于低频的噪声的对立样本也无法完备抵御。

通过攻击方面的体验,团队关于对立样本的防守方法有以下考虑:

1)对特征值举行截断限制

神经收集里运用truncated relu这类激活函数,对特征值举行截断处理,避免因为对立样本变成的特征突变太大,影响收集最终预测结果。

2)计划模子更加体恤图像全体构造,而不是纹理特征取得更强的鲁棒性

如Nature新闻中指出的,DNN和符号AI的联合,到场构造化的规矩来交融全体的构造新闻。

平安平台部大众平台中心根底研讨组对立样本方面举行了深化的研讨,并盘算机视觉顶级集会之一的ECCV 2018上发外对立样本生成的论文,NIPS 2017对立样本挑衅赛、极棒上海邀请赛等国表里大赛中均取得优异效果。接待列位对对立样本生成以及防守感兴味的同窗与我们交换。

参考文献:

1、Zhou, Wen, et al. "Transferable adversarial perturbations." Proceedings of the European Conference on Computer Vision (ECCV). 2018.

2、Geirhos, Robert, et al. "ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness." arXiv preprint arXiv:1811.12231 (2018).

3、Sharma, Yash, Gavin Weiguang Ding, and Marcus Brubaker. "On the Effectiveness of Low Frequency Perturbations." arXiv preprint arXiv:1903.00073 (2019).

4、https://www.nature.com/articles/d41586-019-03013-5

5、Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep con- volutional neural networks. In: Advances in neural information processing systems. (2012) 1097–1105

6、Carlini, N., Wagner, D.: Towards evaluating the robustness of neural networks. arXiv preprint arXiv:1608.04644

7、Dong, Y., Liao, F., Pang, T., Su, H., Zhu, J., Hu, X., Li, J.: Boosting adversar- ial attacks with momentum. In: The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). (June 2018)

8、Shumeet Baluja and Ian Fis- cher. Adversarial transformation networks: Learn- ing to generate adversarial examples. arXiv preprint arXiv:1703.09387, 2017

9、Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.

10、http://www.image-net.org

11、http://cs231n.stanford.edu

12、Simonyan K, Vedaldi A, Zisserman A. Deep inside convolutional networks: Visualising image classification models and saliency maps[J]. arXiv preprint arXiv:1312.6034, 2013.

13、Nguyen A, Yosinski J, Clune J. Multifaceted feature visualization: Uncovering the different types of features learned by each neuron in deep neural networks[J]. arXiv preprint arXiv:1602.03616, 2016.

14、https://ai.googleblog.com/2015/06/inceptionism-going-deeper-into-neural.html

腾讯技能工程
腾讯技能工程

腾讯技能工程遗迹群中文字幕AV的实质专栏

初学耗损函数神经收集对立样本深度进修
1
相关数据
深度进修技能

深度进修(deep learning)是板滞进修的分支,是一种试图运用包罗繁杂构造或由众重非线性变换构成的众个处理层对数据举行高层笼统的算法。 深度进修是板滞进修中一种基于对数据举行外征进修的算法,至今依鳌有种深度进修框架,如卷积神经收集和深度置信收集和递归神经收集等已被运用盘算机视觉、语音识别、自然言语处理、音频识别与生物新闻学等范畴并获取了极好的效果。

激活函数技能

盘算收集中, 一个节点的激活函数定义了该节点给定的输入或输入的汇合下的输出。标准的盘算机芯片电道可以看作是依据输入取得"开"(1)或"关"(0)输出的数字收集激活函数。这与神经收集中的线性感知机的方法相似。 一种函数(比如 ReLU 或 S 型函数),用于对上一层的所有输入求加权和,然后生成一个输出值(一般为非线性值),并将其转达给下一层。

权重技能

线性模子中特征的系数,或深度收集中的边。教练线性模子的目标是确定每个特征的抱负权重。假如权重为 0,则相应的特征对模子来说没有任何奉献。

参数技能

数学和统计学裡,参数(英语:parameter)是运用通用变量来修立函数和变量之间联系(岛镶种联系很难用方程来阐述时)的一个数目。

耗损函数技能

数学优化,统计学,计量经济学,计划表面,板滞进修和盘算神经科学等范畴,耗损函数或资本函数是将一或众个变量的一个事情或值映照为可以直观地外示某种与之相关“资本”的实数的函数。

盘算机视觉技能

盘算机视觉(CV)是指板滞感知状况的才能。这一技能种别中的经典义务有图像变成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很主要的研讨范畴。

神经收集技能

(人工)神经收集是一种根源于 20 世纪 50 年代的监视式板滞进修模子,那时分研讨者念象了「感知器(perceptron)」的念法。这一范畴的研讨者一般被称为「勾结主义者(Connectionist)」,因为这种模子模拟了人脑的功用。神经收集模子一般是通过反向传达算法运用梯度下降教练的。目前神经收集有两大主要类型,它们都是前馈神经收集:卷积神经收集(CNN)和轮回神经收集(RNN),此中 RNN 又包罗好坏期记忆(LSTM)、门控轮回单位(GRU)等等。深度进修是一种主要运用于神经收集帮帮其取得更好结果的技能。尽管神经收集主要用于监视进修,但也有少许为无监视进修计划的变体,比如主动编码器和生成对立收集(GAN)。

梯度下降技能

梯度下降是用于查找函数最小值的一阶迭代优化算法。 要运用梯度下降找到函数的部分最小值,可以采用与目今点的函数梯度(或近似梯度)的负值成比例的方法。 假如接纳的方法与梯度的正值成比例,则接近该函数的部分最大值,被称为梯度上升。

Alex收集技能

AlexNet是一个卷积神经收集的名字,最初是与CUDA一同运用GPU支撑运转的,AlexNet是2012年ImageNet竞赛冠军取得者Alex Krizhevsky计划的。该收集达过失率大大减小了15.3%,比亚军跨过10.8个百分点。AlexNet是由SuperVision组计划的,由Alex Krizhevsky, Geoffrey Hinton和Ilya Sutskever构成。

目标函数技能

目标函数f(x)便是用计划变量来外示的所寻求的目标方式,以是目标函数便是计划变量的函数,是一个标量。从工程原理讲,目标函数是系统的功用标准,比如,一个构造的最轻重量、最低制价、最合理方式;一件产物的最短生产时间、最小能量消耗;一个实行的最佳配方等等,修立目标函数的进程便是寻找计划变量与目标的联系的进程,目标函数和计划变量的联系可用弧线、曲面或超曲面外示。

对立教练技能

对立教练涉及两个模子的联合教练:一个模子是生成器,进修生成假样本,目标是骗过另一个模子;这另一个模子是判别器,通过比照实数据进修判别生成器生成样本的真伪,目标是不要被骗。一般而言,两者的目标函数是相反的。

对立样本技能

对立样本是一类被计划来混杂板滞进修器的样本,它们看上去与实样本的确实相同(无法用肉眼区分),但此中噪声的到场却会导致板滞进修模子做堕落误的分类判别。

特征可视化技能

用于办理神经收集广受诟病的黑箱题目的方法之一,通过可视化的方法来了解神经收集的运算机理,以办理可标明性题目。

图像去噪技能

图像去噪是从图像中去除噪声的义务,比如,高斯噪声图像中的运用。

生成对立技能

生成对立是教练生成对立收集时,两个神经收集互相博弈的进程。两个收集互相对立、不时调解参数,最终目标是使判别收集无法判别生成收集的输出结果是否实。

引荐作品
暂无评论
暂无评论~