选自GitHub

机器之心编译

参与：杨洁湫、李亚洲

在前一段时间，Han Zhang 和 Goodfellow 等研究者提出添加了自注意力机制的生成对抗网络，这种网络可使用全局特征线索来生成高分辨率细节。本文介绍了自注意力生成对抗网络的 PyTorch 实现，读者也可以尝试这一新型生成对抗网络。

项目地址：https://github.com/heykeetae/Self-Attention-GAN

这个资源库提供了一个使用 PyTorch 实现的 SAGAN。其中作者准备了 wgan-gp 和 wgan-hinge 损失函数，但注意 wgan-gp 有时与谱归一化（spectral normalization）是不匹配的；因此，作者会移除模型所有的谱归一化来适应 wgan-gp。

在这个实现中，自注意机制会应用到生成器和鉴别器的两个网络层。像素级的自注意力会增加 GPU 资源的调度成本，且每个像素有不同的注意力掩码。Titan X GPU 大概可选择的批量大小为 8，你可能需要减少自注意力模块的数量来减少内存消耗。

目前更新状态：

• 注意力可视化 (LSUN Church-outdoor)
• 无监督设置（现未使用标签）
• 已应用：Spectral Normalization（代码来自 https://github.com/christiancosgrove/pytorch-spectral-normalization-gan）
• 已实现：自注意力模块（self-attention module）、两时间尺度更新规则（TTUR）、wgan-hinge 损失函数和 wgan-gp 损失函数

结果