自研AI强势领跑,这家清华孵化的初创公司开拓出AI安全新赛道

科学
自研AI强势领跑,这家清华孵化的初创公司开拓出AI安全新赛道
麻省理工科技评论 2019-08-22

2019-08-22

在今年的 KDD 2019 大会中,RealAI(瑞莱智慧)拿下了初创公司创业研究奖,成为四家获奖公司之一。荣获这一数据挖掘研究领域顶会的奖项,RealAI 却很是低调。在其当日的公众号推文中只是寥寥几句,“未来 RealAI 将继续进行人工智能基础技术的自主研发,在此领域持续深耕,不断拓展人工智能的边界。”
AI 人工智能 科学
在今年的 KDD 2019 大会中,RealAI(瑞莱智慧)拿下了初创公司创业研究奖,成为四家获奖公司之一。荣获这一数据挖掘研究领域顶会的奖项,RealAI 却很是低调。在其当日的公众号推文中只是寥寥几句,“未来 RealAI 将继续进行人工智能基础技术的自主研发,在此领域持续深耕,不断拓展人工智能的边界。”

在今年的 KDD 2019 大会中,RealAI(瑞莱智慧)拿下了初创公司创业研究奖,成为四家获奖公司之一。荣获这一数据挖掘研究领域顶会的奖项,RealAI 却很是低调。在其当日的公众号推文中只是寥寥几句,“未来 RealAI 将继续进行人工智能基础技术的自主研发,在此领域持续深耕,不断拓展人工智能的边界。”

RealAI 成立于 2018 年 7 月,虽然成立时间不长,但其技术背景之强令人咂舌:背靠清华大学 AI 研究院、团队内 AI 大牛云集,如中科院院士张钹、曾入选 MIT TR35 的朱军教授、清华特奖获得者田天等等。

自研AI强势领跑,这家清华孵化的初创公司开拓出AI安全新赛道

图 | RealAI

AI 创业潮淘洗出了一大批基于深度学习的 AI 公司。而基于清华研究成果,RealAI 却看到以深度神经网络为代表的第二代 AI 算法应用存在的局限,进而比其他团队更深一步,在深度学习方法中融入贝叶斯学习的一些特点,比如对先验信息的结合、对不确定性的分析等,旨在打造安全、可靠、可解释的第三代人工智能。而之所以把安全放在第一和根本性的地位,RealAI 也有别样的考量。

AI 技术被滥用

任何新技术都是双刃剑,人工智能也不例外。例如,AI 换脸技术就滋生出一条黑色产业链。《南都周刊》微信公众号在近期转载的一篇推文中提到,许多人开始叫卖 AI 换脸的情色视频、定制视频以及 AI 换脸教程。Deepfake 换脸视频最早出现在 2017 年底,这些视频通过人工智能算法将一个人的脸合成到另一个人的视频中,因为有足够的训练数据和算力积累,再加上技术门槛低,这项技术很快就达到了以假乱真的地步甚至不断“黑化”。

自研AI强势领跑,这家清华孵化的初创公司开拓出AI安全新赛道

图 | 通过 DeepFake 技术,盖尔·加朵的脸被加在了成人女星身上(来源:reddit)

谁也没想到,大家了解这项技术是从 AI 合成的欧美女星情色片开始的。在美国,这一技术被用来制作色情报复作品。在印度,民族主义者利用 Deepfake 来抹黑和煽动针对女记者的暴力。

你看到的视频和新闻可能是假的,更可怕的是,你的手机、电脑、智能门锁等等应用了人脸识别技术的场景可能被别人轻松攻破,银行的身份认证、支付安全防护都可能出现问题,安防领域的监控识别也可能失灵,伪造视频绑架勒索变得简单,甚至很容易就能制造社会恐慌。

AI 技术的使用超出边界,产生了严重的安全问题。同时,AI技 术的滥用还带来了隐私和伦理问题。当 AI 开始触碰边界问题的时候,安全性就成为 AI 技术发展过程中必须思考的课题。

“此前 AI 安全相关的新闻相对较少,公众并没有意识到 AI 安全危害到底有多大。但最近一段时间不断涌现的恶性事件,让 AI 安全这一话题从学术圈走到了更大的社会圈。在未来几个月的时间内,AI 安全可能会形成更大的影响力,社会各界都将意识到这个问题。”RealAI CEO 田天说。

AI 安全的两大问题

实际上,很多场景的安全问题都是传统的深度学习技术难以解决的,必须通过一些更新、更前沿的人工智能技术才有可能解决。AI 安全是一个全新领域,不管是攻击检测手段还是防御手段,要有针对性地进行研究才有可能解决这些问题。

RealAI 认为,AI 安全问题可以从两个层面来理解,一个是算法本身存在漏洞,另一个是技术被滥用。

AI 算法漏洞方面的学术研究早已有之,产业界在近些年开始关注。目前 AI 算法安全的主要风险在于对抗样本攻击,即通过输入恶意样本来欺骗算法,最终使 AI 系统输出非预期的结果。通过生成对抗式图像,能够欺骗人工智能,使 AI 系统识别错误,比如在身上贴一张纸,就能实现在监控设备下“隐身”。

和其他攻击不同,对抗性攻击主要发生在构造对抗性数据的时候,之后该对抗性数据就如同正常数据一样输入机器学习模型并实现“欺骗”。根据攻击者掌握机器学习模型信息的多少,可以分为白盒攻击(在已经获取机器学习模型内部的所有信息和参数基础上进行攻击)和黑盒攻击(在无法获取机器学习模型内部的所有信息和参数基础上的攻击)。

自研AI强势领跑,这家清华孵化的初创公司开拓出AI安全新赛道

图 | 破解人脸识别(来源:RealAI)

要防御对抗样本,就得通过数据清洗和数据过滤,让算法模型在有对抗样本的情况下依然能够可靠运行。常用的训练策略包括,训练其他的分类器来检测对抗输入和实行对抗训练程序。

针对类似 Deepfake 换脸这类 AI 技术被滥用的问题,RealAI 也尝试通过技术手段来检测规避,目前开展了检测换脸假视频的工作,主要应用深度生成模型,通过生成更加逼真的假视频训练一个更加鲁棒的模型来检测假视频。“在我们的数据集上面,检测准确率可以达到 99% 以上,能够覆盖市面上绝大多数换脸技术生成的假视频。”RealAI 算法科学家萧子豪说。

自研AI强势领跑,这家清华孵化的初创公司开拓出AI安全新赛道

图 | 换脸检测(来源:RealAI)

类似的人脸识别技术已经大量运用在生活、商业的各类场景,譬如人脸解锁、刷脸支付、贷款身份认证等等。RealAI 目前可以对主流的 AI 人脸识别技术提供商进行安全评测,并通过 AI 防御技术、“AI 防火墙”有效识别和拒绝攻击者。而在物体识别方面,针对人工智能系统的伪装及检测技术,则可以被应用在隐私保护、公共安全等领域。

技术滥用方面,萧子豪认为,技术滥用的根本原因在于 AI 技术本身的突破、技术门槛逐渐降低,再加上算法的漏洞,所以有了现在越来越严重的安全问题。

“这会让人觉得眼睛看到的都不是真的,在接收到信息之后都需要先辨别真假,所以技术的滥用会存在很多恶意的威胁。”萧子豪说道。

全新的 AI 安全赛道

AI 技术被滥用,自然催生了 AI 安全的市场需求。

然而,目前大量 AI 公司都集中在应用开发领域,而专注于 AI 安全研究,尤其是原创性、创新性技术研究的公司屈指可数。RealAI 是国内顶尖的 AI 团队之一,也是 AI 安全领域处在世界前列的公司。他们认为,人工智能安全未来将会发展到和网络安全同等的规模。

基于清华研究团队的多年积累,RealAI 在攻击、防御方法等AI安全研究方面有着深厚的技术积淀。在许多国际性 AI 安全大赛上,包括像 Google Brain&NIPS 的 AI 安全竞赛、DEFCON 大会 AI 安全大赛等,清华研究团队曾斩获多项冠军。

需要关注的是,今年 5 月,在张钹院士“第三代人工智能”概念的指引下,RealAI 与清华大学人工智能研究院联合开发的 RealSafe 人工智能安全平台正式发布。RealSafe 作为深度学习攻击防御算法与评测的统一平台,提供多种攻击与防御算法,并融合白盒、黑盒等不同场景,提供全面、细致的攻击防御算法的评测与比较。

自研AI强势领跑,这家清华孵化的初创公司开拓出AI安全新赛道

图 | RealAI 会议(来源:RealAI)

对于如何看待 AI 安全这一全新赛道的未来发展,田天表示,“AI 安全是个很大的领域,不是某一位研究者、某一家企业就能够将 AI 安全的所有问题都解决,未来需要更多的人加入进来,共同推动 AI 安全技术的进步。”

而在具体实施层面,田天认为,“首先,我们不能盲目的认为人工智能技术很强大,就直接拿来解决各种问题。其次,无论是应用落地还是技术本身研究,安全性都必须作为一个非常重要的考量标准,尤其是进行技术研发时,要有更多安全性的考虑,不能只单纯追求性能指标的提升。另外就是制定 AI 安全方面的行业标准是有必要的,要让所有参与者在统一的框架下去讨论、落地这个事情。”

最后,田天强调,任何一项技术本身是没有善恶的,从管理规范的角度来说,应该有一些法律法规来引导科技向善,技术方面也要能够“魔高一尺道高一丈”,当攻击技术出现的时候要有相应的防御技术去抵制。


麻省理工科技评论

From Tech to Deeptech