可信机器学习最本质的问题可以归结为对“分布漂流“（distribution drift）及“分布迁移“（distribution shift）的分析。绝大多数的可信机器学习问题都可以归结到分布漂流中去。

李博教授现任职于伊利诺伊大学厄巴纳-香槟分校计算机科学系。她曾荣获许多学术奖项，包括麻省理工学院技术评论 MIT TR-35 、Alfred P. Sloan 斯隆研究奖、NSF CAREER 奖，英特尔新星奖、赛门铁克研究实验室奖学金，并获得来自Amazon、Facebook、谷歌、英特尔和 IBM 等科技公司的学术研究奖。她的论文曾获多个顶级机器学习和安全会议的最佳论文奖；研究成果还被永久收藏于英国科技博物馆。李博的研究侧重于可信机器学习、计算机安全、机器学习、隐私和博弈论的理论研究和实践分析。她曾设计多个鲁棒性机器学习算法及和隐私保护数据发布系统。她的工作曾被《自然》、《连线》、《财富》和《纽约时报》等主要媒体报道。

近年来，机器学习在真实世界诸多方面都有着广泛的应用，例如，自动驾驶，健康医疗，智慧城市等。虽然机器学习和人工智能强大且便捷，但是真实世界中机器学习的安全与隐私所涉及到的问题依然引起了人们的担忧。就在2016年，推特由于遭到黑客攻击释放出了白宫遇袭的消息。这些对公众来说显而易见的假消息，却使得基于机器学习的算法做出了错误的决策，在短短的几秒钟内交易了1360亿美金的股票。除此之外，澳大利亚的航空公司也开始使用人体的生物信息来进行身份识别，同样引发了公众对隐私泄露的担忧。 基于机器学习隐私和安全等方面的可信机器学习的研究已经成为一个重要的课题。

李博教授团队以研究在真实世界可应用的 可验证的鲁棒性 （Certified Robustness），隐私以及可解释机器学习为主，以应对可能出现在机器学习流程中各个方面的攻击。

可信机器学习的本质

可信机器学习最本质的问题可以归结为“分布漂流”（distribution drift）以及对“分布迁移”（distribution shift）的分析。 绝大多数的可信机器学习问题都可以归结到分布漂流中去。

鲁棒性 便是研究在训练或测试阶段可能出现的微小的恶意分布漂流。这些微小的分布漂流极有可能是恶意方精心设计来达到某些目的，比如，恶意方的中毒攻击(Poisoning attack)和后门攻击(Backdoor attack)是在训练数据集上的分布漂流；恶意方的对抗攻击（Adversarial attack）是在测试数据中的分布漂流。对于分布漂流的深度研究有助于防御方在攻防游戏中获胜，甚至提供可验证的鲁棒性以研究模型对于不同的分布漂流表现的下界。

隐私性 的研究是根据已知部分的分布信息来推断出未知部分的分布信息，包括数据的统计信息，甚至恢复出数据本身。隐私性的研究可以大概分成两个大方向，第一个是高隐私性数据的生成，第二个是高隐私性算法的设计。相较而言，高隐私性数据的生成更具有普适性但是也更有挑战性。高隐私性算法的设计可以弥补前者的空缺，在学习的过程中为模型提供隐私保护。 隐私性在一定程度上能够推导出 可验证鲁棒性 ，对有一个符合 差分隐私的模型，其可验证鲁棒性可以表示为一个 差分隐私 的函数。

第三个主要的问题是模型的 泛化性 。泛化性本身就是在研究在自然环境中分布漂流的问题，在真实世界里，数据分布随时随地都在发生变化。所以在静止的数据集上训练出来的模型如何能在时刻变化的真实世界数据分布上表现出较高的泛化性是一个重要的问题。

这三者之间相互关联，比如对于一个完美泛化性的模型，其鲁棒性一定是能得到保证的，但是完美泛化性的模型往往是难以得到的。

可验证鲁棒性

在真实世界中，大量研究表明攻击者可以轻易干扰自动驾驶的相机或雷达以降低自动驾驶系统对于路边标识牌或路边物体的识别。比如一些轻微的扰动就会使机器学习模型把“停止”标识预测成“限速45”，进而加大了自动驾驶的危险性。目前相当一部分自动驾驶公司，已经开始对相关攻防展开分析。同时，研究者也提出了对于攻击的防御手段，但是新提出的防御手段同样面临被新攻击方法干扰的风险。 而可验证鲁棒性意在解决无休止的攻防循环。

直观来讲， 可验证机器学习 是为算法提供预测准确率的下界，即在攻击者满足一定限制的前提下，不管使用什么攻击方法，模型的预测精度都不会低于此下界。

目前的可验证鲁棒性基本可以分为两大类，一类是完全可验证（Complete），另一类是不完全可验证（Incomplete）。 完全可验证 的方法提供了充要条件，即如果方法可以对目标模型能提供 可验证鲁棒性 ，则 可验证鲁棒性 存在，反之则不存在。 不完全可验证 的 可验证鲁棒性 方法提供了充分条件，即如果方法可以对目标模型能提供 可验证鲁棒性 ，则 可验证鲁棒性 存在，反之 可验证鲁棒性 亦可能存在。其中，只有 不完全可验证 方法中基于概率的方法可以被应用于大规模数据训练模型。

目前 可验证鲁棒性 研究当中，实验可验证鲁棒性（empirical）和理论可验证鲁棒性（theoretical）存在较大落差。目前的一些攻击方法，虽然对机器学习模型十分有效，但是我们却可以轻易区分。所以 如何把一些外部知识交给机器学习模型来帮助其提高防御能力 成为一个有前景的研究方向。

感知-推理机器学习

李博教授团队提出感知-推理机器学习（Sensing-Reasoning ML Pipeline）， 是一种端到端的机器学习流程，可以通过基于知识库的逻辑推理来提升网络的 可验证鲁棒性 。其中深度神经网络作为感知的部分来提取特征，之后经由推理网络整合特征之间的逻辑来达到最终预测。

如果将感知-推理机器学习应用到上文中的自动驾驶路边警示牌识别当中。下图中，o代表模型的输出，s代表感知的结果。三个感知模型提取三种特征：对停止标志的识别，此标识是否含有“Stop”字样，以及牌子外形是否是八边形。其中如果识别出“Stop” 标识，则最后结果（o）一定是“Stop”标识。如果识别出“Stop”字样（s），则最后结果（o）也一定是“Stop”标识。如果最后结果（o）是“Stop”标识，则牌子形状一定是八边形（下图：o => s）。实验结果显示应用感知-推理机器学习可以显著提高自动驾驶算法的鲁棒性。

值得注意的是 感知-推理机器学习 没有应用到任何攻击时所需的信息，所以对于任何的攻击的方式，该方法都可以达到防御的效果。

联邦学习中的可验证鲁棒性

可验证鲁棒性 作为一个刚刚出现不久的领域，为模型提供了最差情况下的表现。然而目前最优的理论和实践中仍然存在着较大的落差，对于该领域的理论提升还有很长的路要走。

除鲁棒性，隐私性和泛化性各自的研究之外，其三者之间的联系，是一个更重要且有待研究的问题。 比如，鲁棒性一定情境下能揭示隐私性，而隐私性也能够提供可验证鲁棒性。可信机器学习中其他问题，例如公平性机器学习等也可以归结在这个框架下，同时也是非常活跃的领域。

精彩视频回顾及完整版PPT下载，请点击：

AIR学术沙龙第16期 | 可信机器学习: 机器学习鲁棒性、隐私性、泛化性、及其内在关联

AIR学术｜蚂蚁灵波徐英豪：Video World Modeling for Robot Control

2月11日上午，第52期由AIR DISCOVER实验室主办的AIR青年科学家论坛如期举行。本次活动有幸邀请到香港科技大学助理教授（拟入职）/蚂蚁灵波的徐英豪博士，为AIR的老师和同学们做了题为《Video World Modeling for Robot Control》的精彩报告。讲者介绍徐英豪，目前在蚂蚁灵波科技担任世界模型和具身智能研究负责人。在此之前，他曾于斯坦福大学计算成像实验室担任博士后研究员，导师为 Gordon Wetzstein 教授。博士阶段就读于香...

AIR学术｜字节跳动李航：推进人工智能新前沿

3月5日下午，第42期AIR学术沙龙如期举行。本期活动荣幸邀请到了字节跳动李航博士，为我们作题为《推进人工智能新前沿》的报告。本次活动由中国工程院院士、清华大学智能产业研究院（AIR）院长张亚勤主持。讲者简介Hang Li is the Head of Research at ByteDance Technology. He is an ACM Fellow, ACL Fellow, and IEEE Fellow. He graduated from Kyoto University and received his Ph.D. from the University of Tokyo. Prio...

AIR学术｜西湖大学于开丞：浅谈自主智能——Autolab 的视角

11月28日下午，由DISCOVER实验室主办的第三十八期AIR青年科学家论坛如期举行。本期活动荣幸第邀请到了西湖大学工学院助理教授于开丞，为AIR的老师和同学们做了题为Large Visual-Centric Models in Society Autolab Perspective的精彩报告，本次活动由清华大学智能产业研究院（AIR）助理教授龚江涛主持。讲者介绍于开丞博士，西湖大学工学院博士生导师、助理教授，人工智能企业KMina联合创始人兼首席科学家。于开丞先后于2016年...