即时发布
人工智能工具有希望应用从自主飞行器到医学图像判读新研究发现这些AI工具比先前想象的更容易受定向攻击,有效迫使AI系统做出错误决策
问题在于所谓的“对称攻击”,即有人操纵数据输入AI系统以混淆它举例说,有人可能知道,在停止牌上特定点贴上特殊标签可有效使停止牌隐蔽AI系统或黑客可以在X光机上安装代码改变图像数据,导致AI系统诊断不准确
并训练AI识别停止标志时, 仍知道它是一个停止标志, 北卡罗来纳州立大学电机工程副教授兼论文合编人天福武说 。然而,如果AI有漏洞 攻击者知道漏洞 攻击者可以利用漏洞 并制造意外
由Wu及其合作者编写的新研究侧重于确定AI深度神经网络中这类对立漏洞的常见性发现漏洞比前所想的多
并发现攻击者可以利用这些漏洞迫使AI解释数据Using停止标志示例, 令AI系统认为停止标志是一个邮箱或限速信号或绿光等,
关键在于, if a AI系统不强力应对这类攻击, 你并不想将系统实用化- 特别是用于可影响人类生命的应用上。
测试深神经网络易受这些对立攻击的脆弱性 研究人员开发出软件K级.软件可用于测试任何深度神经网络对抗漏洞
基本讲,如果你拥有训练有素的AI系统,用干净数据测试它,AI系统将按预测行为QuadatK级观察这些操作并学习AI如何决策数据允许QuadatK级判断数据如何被操纵来愚弄AIQuadatK级并开始发送操作数据到AI系统观察AI响应方式ifQuadatK级识别脆弱度可快速令AI看到QuadATAcK级想要它看到。”
测试概念证明时,研究人员使用QuadatK级测试四大神经网络:二大卷积神经网络(ResNet-50和denseNet-121)和二大视觉变换器(Vit-B和DEiT-S)。选择这四大网络是因为这些网络在全世界AI系统广泛使用
发现所有四大网络极易受对战攻击,令网络看到我们希望他们看到的东西
研究队制作QuadatK级公有性研究社区可使用它测试神经元网络漏洞程序可在此查找 :https://thomaspaniagua.github.io/quadattack_web/.
下步是寻找方法将漏洞最小化我们已经有一些潜在解决方案-但工作结果仍然很快到来
论文,QuadatK级二次编程方法学习K级反向攻击”第三十七次神经信息处理系统会议16NeurIPS2023北奥尔良第一作者Thomas Paniagua博士NC州立大学学生论文合编人Ryan Grainger博士NC州立大学学生
这项工作得到了美国的支持陆军研究办公室W911NF1810295和W911NF2210010国家科学基金会赠款1909644、2024688和2013451
机手-
编辑器注解 :学习文摘附后
QuadatK级二次编程方法学习K级反向攻击
作者类北卡罗来纳州立大学Thomas Paniagua、Ryan Grainger和天福Wu
显示式:12月16, 第三十七神经信息处理系统会议(NeurIPS 2023),新奥尔良
抽象性 :深神经网络的对立易触常为人所熟知和广受关注,常以学习顶级1攻击为背景(例如欺骗dN点将猫像归为狗)。论文显示,通过学习更具攻击性排序顶层-K级清晰盒定点攻击建议高压学习新式严格二次程序设计法K级低计算成本攻击称QuadatK级.QuadatK级直接解决QP满足特征嵌入空间攻击约束(即输入空间最终线性分类器),从而利用特征嵌入空间语义(即类一致性原理)。优化特征嵌入矢量扰动后,它通过香草单步反插计算数据空间的对称扰动实验中建议QuadatK级图像Net-1k分类测试使用ResNet-50、denseNet-121和View变换器成功推入成功排序顶K级攻击源K级=10到K级=20廉价预算(1x60)并进一步提高攻击成功率K级=5所有测试模型,同时保留性能K级=1
