来源 | 机器之心

ChatGPT 代替程序员，是我们想多了？

近日，来自东方理工的研究团队提出了一种广义流形对抗攻击的范式（Generalized Manifold Adversarial Attack， GMAA）， 将传统的 “点” 攻击模式推广为 “面” 攻击模式 ，极大提高了对抗攻击模型的泛化能力，为对抗攻击的工作展开了一个新的思路。

该研究从目标域和对抗域两个方面对先前的工作做了改进。在目标域上，该研究通过攻击目标身份的状态集合找到高泛化的更强大的对抗样本。对于对抗域，先前的工作都是在寻找离散的对抗样本，即找到了系统的几个 “漏洞”（点），而该研究则在寻找连续的对抗流形，即要找到神经网络脆弱的整片 “区域”（面）。

此外，该研究引入表情编辑的领域知识，提出了基于表情状态空间实例化的新范式。通过对生成的对抗流形连续采样可以获得表情连续变化的高泛化性对抗样本，相比于化妆、光照、添加扰动等手段， 表情状态空间更加普适自然，不受性别、光照的影响。 研究论文已被 CVPR 2023 接收。

论文标题：

https://arxiv.org/abs/2301.06083

代码链接：

https://github.com/tokaka22/GMAA

在对抗域部分，先前的工作都是寻找离散的一个或几个对抗样本，这相当于在高维空间中找到了神经网络脆弱的一个或几个 “点”，而该研究认为，神经网络可能在一整个 “面” 上都是脆弱的，应该将这个 “面” 上的对抗样本 “一网打尽”。因此，该研究致力于寻找高维空间中的对抗流形。

综上，GMAA 是一种用 对抗流形去攻击目标身份的状态集合 的新攻击范式。

文章的核心思想如图 1 所示。

具体来说，该研究引入表情编辑的领域知识 Facial Action Coding System (FACS)，用表情状态空间来实例化所提出的新攻击范式。FACS 是一种面部表情编码系统，它将面部分为不同的肌肉单元，其中 AU 向量中的每个元素都对应了一个肌肉单元，向量元素值的大小表示了对应单元的肌肉活跃程度，从而编码表情状态。例如下图中，AU 向量中的第一个元素 AU1 表示了提起内侧眉毛的程度。

来自《面部表情解剖学》

对于目标域，该研究攻击含有多种表情状态的目标集合，从而实现对未知的目标照片也有较好的攻击性能；对于对抗域，该研究建立与 AU 空间一一对应的对抗流形，可以用改变 AU 值的方式，在对抗流形上采样对抗样本，连续地改变 AU 值，就可以生成表情连续变化的对抗样本。

值得注意的是，该研究采用表情状态空间来实例化 GMAA 攻击范式。这是因为表情是人面部活动中最常见的一种状态，而且 表情状态空间相对稳定，不会受到人种、性别的影响（光照可改变肤色、化妆则会影响性别） 。事实上，只要能找到其他合适的状态空间，该攻击范式就完全可以被推广应用于自然界的其他对抗攻击任务中。

该研究还探讨了不同的表情对攻击性能的影响，以及状态集合中含有样本的数量对攻击泛化性能的影响。

图 6 展示了不同方法的可视化结果对比，MAA 在对抗流形上采样了 20 个对抗样本，可以看到可视化效果更加的自然。

当然，并不是所有的数据集都有一个身份的不同状态的图片，对于这种情况怎么做目标域的扩充呢？该研究也给出了一个可行的解决方案，即用 AU 向量和表情编辑模型生成目标状态集合，文章也呈现了攻击合成的目标状态集合的结果，可以发现泛化性能也有一定提升。

模型的主干包含了基于 WGAN-GP 的生成模块、表情监督模块、可转移性增强模块、广义攻击模块。其中，广义攻击模块实现了攻击目标状态集合的功能，可转移性增强模块来自于先前的工作，为了公平对比，所有的 baseline 都加上了这一模块。表情监督模块由 4 个训练好的表情编辑器构成，通过全局结构监督和局部细节监督来实现对抗样本的表情变换。

对于表情监督模块，论文的支持材料中给出了相应的消融实验，验证了局部细节监督可以减少生成图片的伪影和模糊，有效地提高对抗样本的视觉质量，同时可以提高对抗样本的表情合成准确性。

此外，论文定义了 连续对抗流形和语义连续对抗流形 的概念，并详细证明了 生成的对抗流形与 AU 向量空间同胚。

综上所述，该研究提出了一种新的名为 GMAA 的攻击范式，同时 扩展了目标域和对抗域 ，提高了攻击的性能。对于目标域，GMAA 通过攻击状态集合而不是单张图像来提升对目标身份的泛化能力。此外， GMAA 将对抗域从离散点扩展到语义连续的对抗流形（“由点到面”） 。该研究通过引入表情编辑的领域知识实例化了 GMAA 攻击范式。大量的对比实验证明，GMAA 具有比其他竞争模型更好的攻击性能和更自然的视觉质量。

# 投 稿 通 道 #

让你的文字被更多人看到

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？ 答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是 最新论文解读 ，也可以是 学术热点剖析 、 科研心得 或 竞赛经验讲解 等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人 原创作品 ，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供 业内具有竞争力稿酬 ，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱： hr@paperweekly.site

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（ pwbot02 ）快速投稿，备注：姓名-投稿

现在，在 「知乎」 也能找到我们了

进入知乎首页搜索 「PaperWeekly」

· 返回搜狐，查看更多