腾讯朱雀实验室首度亮相,业内首秀控制神经元构造AI模型后门-冯金伟博客园

  腾讯科技讯,8 月 19 日,第 19 届 XCon 安全焦点信息安全技术峰会于北京举行,腾讯朱雀实验室首度亮相公众视野。该实验室由腾讯安全平台部孵化,专注于实战攻击技术研究和 AI 安全技术研究,以攻促防,守护腾讯业务及用户安全。

  会上,腾讯朱雀实验室高级安全研究员 nEINEI 分享了一项 AI 安全创新研究:模拟实战中的黑客攻击路径,通过对 AI 模型文件的逆向分析,跳过传统利用“样本投毒”的攻击环节,直接控制 AI 模型的神经元,为模型“植入后门”。甚至在保留正常功能的前提下,直接在 AI 模型文件中插入二进制攻击代码,将模型文件改造为攻击载体来执行恶意代码,在几乎无感的情况下,实现对神经网络的深层次攻击。

  这也是国内首个利用 AI 模型文件直接产生后门效果的攻击研究。

  腾讯安全平台部负责人杨勇表示,当前 AI 已融入各行各业,安全从业者面临着更复杂、更多变的网络环境。我们已经看到了网络攻击武器 AI 化的趋势,除了框架这样的 AI 基础设施,数据、模型、算法,任何一个环节都是攻防的前线。作为安全工作者,必须走在业务之前,做到技术的与时俱进。

  针对新型攻击手法,腾讯朱雀实验室也对 AI 研究和从业人员提出了应对建议:从第三方渠道下载的模型,要保证渠道的安全性,避免直接加载不确定来源的模型文件。对模型文件的加载使用也要做到心中有数,通过“模型可信加载”,每次加载模型进行交叉对比、数据校验,进行充分的代码检测,可有效应对这种新型攻击手法。