数据投毒致人工智能失控 AI杀毒软件市场尚为一片蓝海

  数据投毒致人工智能失控 AI杀毒软件市场尚为一片蓝海

  一辆正常行驶的自动驾驶汽车,突然驶入了逆行车道;胸前贴一款特殊贴纸,犹如披上隐形斗篷,在监控系统中乐成遁形;戴上一幅特制眼镜,轻松骗过人脸识别系统后,用别人的手机也可实现刷脸解锁或刷脸支付……

  小心,这可能是遇上了难缠的AI病毒!

  克日,清华大学人工智能研究院孵化企业推出了针对人工智能算法模子自己平安的RealSafe平安平台,据先容,该平台可快速缓解匹敌样本的攻击威胁。

  人工智能熏染的是什么病毒?其平安问题有哪些特点?人工智能时代,杀毒软件若何修炼才气化作身怀绝技的病毒猎手?

  是敌又是友 匹敌样本戴着双重面具

  RealSafe人工智能平安平台,是针对AI在极端和匹敌环境下的算法平安性检测与加固的工具平台,包罗模子平安测评、防御解决方案两大功效模块。平台内置AI匹敌攻防算法,提供从平安测评到防御加固整体解决方案。

  北京理工大学计算机网络及匹敌手艺研究所所长闫怀志接受科技日报记者采访时示意,上述平台现在侧重于模子和算法平安性检测与加固,可以说是人工智能算法的病毒查杀工具。

  闫怀志说,针对人工智能系统实行匹敌样本攻击的这类恶意代码,常被称为“AI病毒”。匹敌样本是指在数据集中通过有意添加细微的滋扰所形成的输入样本,会导致模子以高置信度给出一个错误的输出。

  “其实在实验室中,使用匹敌样本可以检测许多训练学习类人工智能方式的分类有用性,也可以行使匹敌样原本举行匹敌训练,以提升人工智能系统的分类有用性。”闫怀志告诉科技日报记者。也就是说,匹敌样本可以看成是训练人工智能的一种手段。

  “但是在现实天下,攻击者可以行使匹敌样原本实行针对AI系统的攻击和恶意扰乱,从而演变成令人头疼的‘AI病毒’。”闫怀志示意,匹敌样本攻击可逃避检测,例如在生物特征识别应用场景中,匹敌样本攻击可诱骗基于人工智能手艺的身份判别、活体检测系统。2019年4月,比利时鲁汶大学研究人员发现,借助一张设计的打印图案就可以避开人工智能视频监控系统。

  在现实天下中,许多AI系统在匹敌样本攻击眼前不堪一击。闫怀志先容,一方面,这是由于AI系统重应用、轻平安的征象普遍存在,许多AI系统基本没有思量匹敌样本攻击问题;另一方面,虽然有些AI系统经过了匹敌训练,但由于匹敌样本不完整、AI算法欠成熟等诸多缺陷,在匹敌样本恶意攻击眼前,也毫无招架之力。

  对训练数据投毒 与传统网络攻击存在显著差别

台青安徽合肥逐梦记

图为5月5日,在安徽合肥罍街的台青创客中心,台青洪志成在展示台湾原住民自酿梅子酒。张娅子 摄  安徽合肥罍街的台青创客中心,台青洪志成、孙德玲夫妻俩两年前入驻该中心,经营一家台湾特色甜点饮品。

  360公司董事长兼CEO周鸿祎曾示意,人工智能是大数据训练出来的,训练的数据可以被污染,也叫“数据投毒”——通过在训练数据里加入伪装数据、恶意样本等损坏数据的完整性,进而导致训练的算法模子决议泛起误差。

  中国信息通讯研究院平安研究所公布的《人工智能数据平安白皮书(2019年)》(以下简称白皮书)也提到了这一点。白皮书指出,人工智能自身面临的数据平安风险包罗:训练数据污染导致人工智能决议错误;运行阶段的数据异常导致智能系统运行错误(如匹敌样本攻击);模子窃取攻击对算法模子的数据举行逆向还原等。

  值得小心的是,随着人工智能与实体经济深度融合,医疗、交通、金融等行业对于数据集建设的迫切需求,使得在训练样本环节发动网络攻击成为最直接有用的方式,潜在危害伟大。好比在军事领域,通过信息伪装的方式可诱导自主性武器启动或攻击,带来毁灭性风险。

  白皮书还提到,人工智能算法模子主要反映的是数据关联性和其特征统计,没有真正获取数据之间的因果关系。以是,针对算法模子这一缺陷,匹敌样本通过对数据输入样例,添加难以察觉的扰动,使算法模子输出错误效果。

  如此一来,发生文章开头所谈到的一类事故就无独有偶了。

  此外,模子窃取攻击也值得注意。由于算法模子在部署应用中需要将公共接见接口公布给用户使用,攻击者就可以通过公共接见接口对算法模子举行黑盒接见,并且在没有算法模子任何先验知识(训练数据、模子参数等)的情况下,构造出与目的模子相似度异常高的模子,实现对算法模子的窃取。

  闫怀志在采访中示意,AI平安更突出功效平安问题(safety),这通常是指人工智能系统被恶意数据(好比匹敌样本数据)所诱骗,从而导致AI输出与预期不符甚至发生危害性的效果。“AI功效平安问题与传统的网络平安强调的保密性、完整性、可用性等信息平安问题(security),存在本质差别。”

  预防“中毒”困难重重 AI手艺也可修建网络平安利器

  闫怀志示意,现在种种缘故原由导致了预防人工智能“中毒”困难重重,缘故原由具体表现在三个方面。

  一是许多AI研发者和用户并没有意识到AI病毒的伟大风险和危害,重视并解决AI病毒问题基本无从谈起;二是由于AI正处于高速生长阶段,许多AI研发者和生产商“萝卜快了不洗泥”,基本无暇顾及平安问题,导致带有先天平安缺陷的AI系统大量涌入应用市场;三是部门AI研发者和供应商虽然意识到了AI病毒问题,但由于手艺能力不足,针对该问题并无有用的解决办法。

  “固然,网络平安原本就是一个高度匹敌、动态生长的领域,这也给杀毒软件领域开拓了一个蓝海市场,AI杀毒行业面临着重大的生长时机。”闫怀志强调,杀毒软件行业首先应该具有提防AI病毒的意识,然后在软件手艺和算法平安方面重视信息平安和功效平安问题。

  “以现实需求为牵引,以高新手艺来推动,有可能将AI病毒查杀这个严重挑战转变为杀毒软件行业生长的重大契机。”闫怀志强调,AI手艺既会带来网络平安问题,也可以赋能网络平安。

  一方面,人工智能的广泛应用带来了许多平安风险。由手艺性缺陷导致的AI算法平安风险,包罗可导致AI系统被攻击者控制的信息平安问题;也可导致AI系统输出效果被攻击者随便控制的功效平安问题。

  但另一方面,人工智能手艺也可以成为修建网络空间平安的利器,这主要体现在自动防御、威胁剖析、计谋天生、态势感知、攻防匹敌等诸多方面。“包罗接纳人工神经网络手艺来检测入侵行为、蠕虫病毒等平安风险源;接纳专家系统手艺举行平安计划、平安运行中央治理等;此外,人工智能方式另有助于网络空间平安环境的治理,好比袭击网络诈骗。”闫怀志说。

  中国信息通讯研究院平安研究所的专家称,为有用管控人工智能平安风险并努力促进人工智能手艺在平安领域应用,可从律例政策、标准规范、手艺手段、平安评估、人才队伍、可控生态等方面构建人工智能平安治理体系。

【编辑:丁宝秀】

原创文章,作者:28x29新闻网,如若转载,请注明出处:https://www.28x29.com/archives/7567.html