欢迎来到 黑吧安全网 聚焦网络安全前沿资讯,精华内容,交流技术心得!

神经网络蒙受安全危急,“后门”成潜伏威胁

来源:本站整理 作者:佚名 时间:2017-09-03 TAG: 我要投稿

在本年 8 月初,纽约大学专家 Siddharth Garg 突发奇想,在他办公楼表面的泊车让行标记上贴了个黄色便贴纸。而当他和两名共事把这个贴有便贴纸的标记的图片输出给他们的路标探测软件后,它居然能辨识出这是个限速路标,“准确率”高达 95%。

图丨这个泊车让行标记上的黄色便贴纸令具有破绽的图象辨认软件把它误认为是一个限速
固然这只是一次突发奇想的测试,然则它的成果却展示了让机械进修工程师们极其头痛的一个平安隐患,那便是用于语音辨认和图象辨认的人工智能收集能够被“秘密地”入侵。而实行这些进击的入侵者则能够设计出仅会对指定的秘密旌旗灯号做出反响的行动,好比 Gard 的贴纸。
对付想要把神经收集相干的名目外包给第三方公司,或许应用收费开源神经收集搭建产物的公司来讲,这类‘后门’的存在简直是致命的隐患。然则,跟着科技界表里对机械进修的兴致愈来愈高,这两种做法也愈来愈罕见。对付该趋向能够形成的影响,纽约大学传授 Brendan Dolan-Gavitt 表现道:“总体来讲,彷佛没有人考虑过这个成绩”
对付研讨入侵神经收集的研讨人员来讲,泊车让行标记是他们最爱好的目的。上个月,就有其余一组研讨者展示了若何用一些标签来诱骗图象辨认体系。他们具体地阐发了目的软件,找出了此中对于对天下的认知那部门法式中的破绽。Dolan-Gavitt 表现,由于他们能够抉择具体的触发方法,和对目的体系断定的影响,以是他们的后门进击威力更大,风险也更秘密。
在实际中,这类进击方法能够用来入侵依附图象辨认的体系,好比监控体系和主动驾驶汽车。对此,纽约大学的研讨人员们展示了若何用后门进击招致监控体系“疏忽”一个具体的人,让这小我胜利的回避监控。别的,后门进击能够其实不只对图象辨认有用。他们正在研讨若何秘密地入侵语音辨认体系,让一些单词被指定的声响或口音说出后,用其余的单词来取代它们。

在他们前不久颁发的论文中,纽约大学的研讨人员描写了两种分歧的后门进击。第一种是针对从零练习起来的神经收集,代表的是当一个公司把机械进修相干的事情外包给第三方公司,之前所说的泊车让行标记便是这类。
第二种则是应用现有曾经练习好的神经收集停止针对性的再次练习的应用。研讨人员们展示了他们路标探测软件之中的破绽,在全部体系颠末针对瑞典路标的再次练习后还存在。任何时候,只需该体系看到一个黄色的长方形,好比 Garg 在办公楼表面所贴的便贴纸,它的准确性就会降低 25%。
纽约大学的研讨人员们表现,他们的成果表现,机械进修界必要采用现有软件行业防止后门等破绽的平安原则。Dolan-Gavitt 用了加州大学伯克利分校旗下一个实验室保持的一个线上“神经收集动物园”为例子。该网站支撑一些核实软件下载的手腕,然则这些手腕并未被用于一切神经收集下载链接中。“这里的破绽能够带来极大的影响”,Dolan-Gavitt 说道。
收集平安公司 AlienVault 的首席科学家 Jaime Blasco 表现,对这类进击来讲,用于军事或监控的机械进修软件,好比来自军用无人机的视频,算是最引人的猎物了。由于军事公司和国防部门曾经是各类先辈繁杂的收集进击的重要目的。不外,鉴于机械进修技巧的人气愈来愈高,应用愈来愈广,许多贸易公司也有能够受到影响。

图丨AlienVault 的首席科学家 Jaime Blasco
“应用深度神经收集的公司应当把这类场景包括在其进击和供应链的阐发中”。Blasco 说道,“咱们离进击者试图应用这篇论文中的破绽停止入侵的那一天不会太远。”
至于发明这个破绽的纽约大学研讨人员们,他们今朝正在思虑若何创造出一款对象,让开发者能够破解来自第三方的神经收集,并找出任何可疑的行动。在此之前,任何应用第三方神经收集的公司只能是提高警惕了。

【声明】:黑吧安全网(http://www.myhack58.com)登载此文出于传递更多信息之目的,并不代表本站赞同其观点和对其真实性负责,仅适于网络安全技术爱好者学习研究使用,学习中请遵循国家相关法律法规。如有问题请联系我们,联系邮箱admin@myhack58.com,我们会在最短的时间内进行处理。
  • 最新更新
    • 相关阅读
      • 本类热门
        • 最近下载