“数字化时代，人工智能是核心驱动力。人工智能在推动新一轮革命的同时，也带来新的安全治理挑战。”12月5日，360集团AI安全研究院院长邹权臣出席人工智能给网络空间带来的机遇与挑战论坛，并围绕基础设施安全与算法隐私安全，指出当下人工智能面临的安全挑战。
人工智能给网络空间带来的机遇与挑战论坛是中以（上海）创新园开园一周年暨2020上海数字创新大会期间召开的分论坛之一，由上海市经济和信息化委员会、上海市科学技术委员会、上海市普陀区人民政府主办，中以（上海）创新园、360政企安全集团、国际云安全联盟CSA承办，集聚了北京航空航天大学教授李安南，360集团视觉部部长王涛等众多嘉宾共同参加。
驱动经济发展与产业创新共进
AI基础设施面临安全风险
自2013年起，全球主要国家和地区陆续颁布人工智能战略与政策。一方面，人工智能拥有强大的经济带动性，对全方位推动经济社会发展具有巨大价值；另一方面，人工智能可对其他产业产生颠覆性影响，持续加快技术创新、商业模式和业态变革，助力生产效率的提高。
邹权臣表示，数字化时代，人工智能是核心驱动力。但与此同时，人工智能也给网络空间的治理带来全新的挑战。因为涉及国防、经济、民生的人工智能设施和系统一旦遭受攻击，可能威胁到国防安全、企业安全、个人财产和生命安全，带来恶劣的社会影响。
其中，AI基础设施面临着传统网络安全风险，而AI算法与隐私安全则是存在AI模型的弱可解释性和鲁棒性问题衍生的新型安全风险。
在谈及AI基础设施安全风险时，邹权臣从漏洞挖掘、渗透测试角度展开研究。邹权臣以人脸识别设备安全风险为例指出，人脸识别系统通过判断人脸特征来识别用户、鉴定权限，通常用于楼宇门禁、打卡通勤、金融、交通等。人脸识别系统通常由分为云端、终端、PC端三部分组成，然而，360 AI安全研究院研究结果表明，多家厂商产品均在此三个环节中，存在安全风险。一旦利用漏洞，则可实现任意物体通过、窃取用户数据。而隐私数据泄露将危害用户人身财产安全，模型文件泄露将危害厂商利益，均对用户生命及财产安全造成威胁。
此外，作为另一重要人工智能基础设施，机器学习框架的安全状况也十分堪忧，直接影响到广大AI应用开发者和用户的使用。360 AI安全研究院同样发现，目前开源机器学习框架往往缺乏严格的安全测试管理和认证，其中的漏洞一旦被攻击者恶意利用，可能危及人工智能产品和应用的可用性和可靠性。
起底AI算法与隐私安全
多维捍卫人工智能安全生态
算法安全是AI安全的另一重要组成部分。
邹权臣表示，人工智能系统面临多种针对AI算法与隐私安全的新型攻击，影响模型训练、测试、推理等多个环节，对模型与算法的机密性、完整性、可用性造成严重危害。而AI算法由于其黑盒特性与不可解释性，攻击者可以利用这些缺陷实现对绕过或控制从而改变AI系统的决策，给系统的安全性带来严重威胁。
对抗攻击是目前AI算法面临的主要安全风险，该类攻击发生在模型推理阶段，通过在输入样本中添加对抗扰动，从而导致模型误判，甚至实现对输出结果的控制。
另一种算法安全风险是后门攻击，后门是通过训练得到的、深度神经网络中的隐藏模式，带后门的模型只有在输入数据中带有trigger时，才会触发异常，否则模型识别性能不受影响。这种隐藏神经网络里面的后门很难检测和识别。
在人工智能系统中，AI模型将算法与数据紧密结合在一起，针对模型的各种隐私安全攻击手段，利用算法中的缺陷可以获取模型或训练数据的隐私信息，加剧了机密性被破坏的可能。
隐私安全风险典型的攻击场景就是AI云服务。云服务通常是先利用各种大量的公开或私有的数据集训练好模型，然后部署在云端，用户通过API等方式访问。但这种方式存在隐私泄露的风险，风险点主要体现在数据集隐私安全和模型隐私安全。
邹权臣在演讲中罗列了模型逆向（反转）攻击、成员推断攻击与模型萃取攻击三种隐私安全攻击，这类攻击一般通过对服务多次查询、构造影子或替代模型等方式，实现样本信息重建，推断某个样本是否再发训练数据集中，或推测出模型的参数、超参数、架构等信息，对AI应用的机密性造成了极大的破坏。
由此可见，人工智能系统在基础设施、算法、隐私等方面都存在安全隐患，在安全评估时，单一维度的评测难以保证整体的安全性，因此邹权臣建议，未来我们应从软、硬件各个环节进行多方考量进行评估，一方面，在检测层面加强对基础设施安全的重视，建立安全评测标准，构建自动化安全风险评测平台，进行系统化安全性测试；另一方面，在防御层面，建立一体化防护措施，建设人工智能安全生态。“人工智能安全研究是一把双刃剑，会加剧攻防之间的竞争，攻防技术也会在对抗中持续演进。”邹权臣说道。
