欢迎来到 黑吧安全网 聚焦网络安全前沿资讯,精华内容,交流技术心得!

外媒称对抗性机器学习存漏洞 黑客攻击轻而易举

来源:本站整理 作者:佚名 时间:2018-09-12 TAG: 我要投稿

据国外媒体报道,数据为人工智能革命提供了动力。然而安全专家们发现,完全可以通过篡改数据集或现实环境来攻击人工智能,对抗性的机器学习研究表明人工智能可能会被黑客攻击,从而做出完全错误的决策。

神经网络把一张关于乌龟的照片看成了来复枪。一辆自动驾驶汽车从一个停车标志旁飞驰而过,只是因为一个精心制作的贴纸迷惑了电脑视觉。一副眼镜就把面部识别技术搞糊涂了,误以为某人是好莱坞女影星米拉·乔沃维奇(Milla Jovovich)。对人工智能进行黑客攻击成为了一种新的安全危机。

为了防止一些犯罪分子想要通过篡改数据集或现实环境来攻击人工智能,研究人员转向对抗性的机器学习研究。在这种情况下,研究人员对数据进行修改,从而欺骗神经网络和人工智能系统,让它们看到不存在的东西,忽略存在的东西,或者使得其关于分类对象的决策完全错误。

就像谷歌和纽约大学研究人员所做的那样,在一辆校车的照片上加上一层对人类来说无形的数据噪声,神经网络就会报告说,它几乎可以肯定那是一只鸵鸟。不仅仅是图像可以这样:研究人员已经将隐藏的语音指令嵌入到广播中,从而控制智能手机,同时不会让人们察觉。

虽然这类工作现在被描述为一种攻击,但从哲学角度来说,对抗性的例子最初被视为神经网络设计中的一个近乎盲点:我们假设机器以我们同样的方式看东西,它们用与我们相似的标准来识别物体。2014年,谷歌研究人员在一篇关于“神经网络的有趣特性”的论文中首次描述了这一想法,该论文描述了如何在图像中添加“扰动”元素会导致神经网络出现错误——他们称之为“对抗性示例”。他们发现,微小的扭曲就可能会骗过神经网络,使其误读一个数字或误将校车当成别的什么东西。这项研究对神经网络 “固有盲点”以及它们在学习过程中的“非直觉特征”提出了质疑。换句话说,我们并不真正了解神经网络是如何运作的。

加州大学伯克利分校(University of California, Berkeley)计算机科学教授唐恩·宋(Dawn Song)表示:“对抗性示例说明,我们对深度学习的原理及其局限性的理解仍然非常有限。”宋是四所大学联合进行对抗性研究的几位研究人员之一,他们共同开发了停车标志贴纸来干扰自动驾驶汽车。

[1] [2] [3] [4]  下一页

【声明】:黑吧安全网(http://www.myhack58.com)登载此文出于传递更多信息之目的,并不代表本站赞同其观点和对其真实性负责,仅适于网络安全技术爱好者学习研究使用,学习中请遵循国家相关法律法规。如有问题请联系我们,联系邮箱admin@myhack58.com,我们会在最短的时间内进行处理。
  • 最新更新
    • 相关阅读
      • 本类热门
        • 最近下载