挑战赛模拟攻击人工智能 应对安全风险

发布时间 :2020-09-25 浏览次数 : 1038

央广网北京9月20日消息(总台央广记者白杰戈)在刚刚结束的国家网络安全宣传周上,人工智能是热门话题之一。人工智能在生产、生活中的运用越来越广泛,它的安全性也越来越受到关注。国内高校和企业发起一项特殊的比赛,参赛者比的是谁能够更快、更有效地攻击人工智能系统,通过这样的“对抗攻击”来提高人工智能的水平和安全性。


重庆的大学生刘野在本月结束的这次比赛中获得第一名。他告诉中国之声,每位参赛者会领到1000个图像文件,他们需要编写代码,让计算机自动修改图像的像素点,让AI(人工智能)无法识别出画面上的人。谁编写的代码修改像素越少并且越能阻止人工智能识别,谁就胜出。刘野花了半个月时间完成比赛。


刘野:每张图像的像素点有500×500,有25万个。我修改了平均大约1200个,修改的像素点其实很少的。


这项“安全AI挑战者计划”由清华大学和阿里巴巴联合开展,已经完成第四期。参赛者们通过代码修改像素形成的“对抗样本”,肉眼看上去没有什么变化,但足以影响人工智能的判断。这个过程可以提前暴露人工智能的局限性。


阿里安全资深算法专家何源说:比如说一只狗的图片,AI可以很容易推出这是一条狗的照片。但是对抗样本的出现,让AI它自身的局限性暴露出来,可以对狗的图片做一些人眼不可察觉的改变,人眼还是看得出来这是一只狗,但是让机器识别不出来它是狗,甚至我可以指定让算法识别出它是一只猫。这是目前AI自身的一个安全局限性,我们举办比赛也主要就是关注到这一点。


主办方介绍,这是全球第一个针对目标检测算法的对抗攻击竞赛。一旦比赛模拟的情况在现实生活中出现,人工智能真的受到攻击,就可能有监控摄像头认不出画面里的人、自动驾驶汽车识别不到前方障碍物等存在安全风险的情形发生。


何源:首先我们要检测这个摄像头下面有没有人,然后有人的话我还想识别出来这个人是谁。那么其实在目前的研究进展里面。比如说,我是可以通过一些类似于我在衣服上有目的地贴一个标志,能够让检测器检测不到人,相当于是我对安防系统的攻击,让它失效。或者可以在脸上做一些修改,比如戴上一种特殊的眼镜或者什么的,让AI系统识别不出来我是谁,或者是把我识别成另外一个人,这也是一种攻击。


中国科学院院士、清华大学人工智能研究院院长张钹表示,人工智能在机遇中也面临诸多挑战,当前以深度学习为代表的人工智能算法在实际应用中存在安全隐患,提升算法的安全性和可靠性,是未来的重要目标之一,也是算法大规模部署和应用的基础。


主办方介绍,“安全AI挑战者计划”已经有来自全球200多所高校、100多个企业的6000多支队伍参赛,除了像刘野这样的学生,还有已经参加工作的网络安全爱好者,收到2000万条恶意样本,沉淀40多个具有前沿创新性的参赛源码和方案,推动缓解人工智能安全人才缺口的问题。此前的三期比赛包括人脸识别对抗、辱骂场景文本对抗等等,针对证件文档类图像伪造的对抗攻击竞赛也已经开始。刘野表示,希望比赛的积累可以帮助更好地改进人工智能的安全性。


刘野:有攻击就有防御。我们的对抗攻击变得更加强大,然后我们拿对抗样本去训练AI,也能促使我们的防御更加强大。

热点推荐

咨询电话?/p> 0531-69958881