对抗学习
Adv-ALSTM手动复现——基于对抗学习的注意力LSTM预测股票涨跌
背景趁着完成了本周assignments来佛系更新一下。其实本文模型的原型是ALSTM(Attentive LSTM), 是机器学习选股常见的,也是微软qlib自带的一个baseline,只不过本文作者为了降低模型的过拟合并提高泛化能力,在每一次Iteration里面增添了对抗样本 [公式] 以及对应的损失函数部分。我对网络的完整架构和单次BP的过程做了手动复现。由于未参考源代码,或存在部分不妥之处欢迎交流指正。原论文:《 Enhancing Stock Movement Predic…
目标检测的稀疏对抗攻击,代码已开源
编译: 孙裕道,CV君 [图片] 题目:Sparse Adversarial Attack to Object Detection 论文: https://arxiv.org/pdf/2012.13692v1.pdf 代码: https://github.com/THUrssq/Tianchi04 .引言 [图片] 该论文的出处是阿里天池大赛中安全AI挑战者计划第四期的通用目标检测对抗攻击。阿里的安全AI挑战者计划是一系列关于AI安全的竞赛,到目前为止球200多所高校100多家企业的近4000支队伍参加,主要目的是抵御未来AI面临的各种安全问题。阿里天池论坛的学习氛围很好,很多优秀的战队很详细…
单目BEV!CROMA:跨模态域适应下的单目BEV感知
ICLR2023双盲审 论文链接: https://openreview.net/forum?id=V8xIHUK3c5Sr 摘要 结合多种传感器模式和缩小训练和部署之间的领域差距是自动驾驶的两个挑战性且关键的主题。现有域适应工作只关注视觉层级的域差距,而忽略了现实中存在的传感器类型差距。使用多传感器模态训练的模型可能需要在可用传感器类型较少的另一设置上运行。基于此,论文提出了一个跨模态自适应(CroMA)框架,以便于学习更健壮的单目BEV感知模型,该模型在训练阶段将点云知识馈送到…
SIGIR2022 | 基于生成对抗思想的冷启动推荐算法
冷启动问题一直以来都是推荐系统中长期存在的一个棘手问题。传统的基于嵌入的推荐模型通过从历史交互中学习每个用户和物品的嵌入来提供推荐。因此,这种基于嵌入的推荐模型对于训练集中没有出现过的冷门物品表现很差。最常见的解决方案是为冷门物品从其内容特征中生成冷门嵌入。然而,由于内容特征和历史交互特征的分布不同,使得从内容生成的冷嵌入与之前的嵌入具有不同的分布。 在这种情况下,目前的冷启动方法面临着一个有趣…
Wasserstein距离及其对偶
我们在做对抗神经网络(GAN)的时候,有一个很常用的算法是WGAN,全程Wasserstein-GAN。它的核心是优化真实数据分布和生成器生成出来的“假”数据的分布之间的Wasserstein距离,从而迫使生成器生成尽可能真实的数据。由于实际当中求解两个分布之间的Wasserstein距离是很困难的,WGAN算法利用了它的对偶形式。 Wasserstein距离定义如下,给定两个分布 [公式] , 我们考虑一个搬运(tran…
对抗学习:论文串烧与代码实现
Paper 1 GAN1. 基本信息论文链接:Generative Adversarial Networks 作者:Ian J. Goodfellow 时间:2014.06.10参考资料:李沐读GAN 2. 摘要作者提出一个训练框架 [GAN,生成对抗网络]——同时训练两个模型 :模型G(generative model):生成模型,学习一个模型,将随机的高斯白噪声近似成输入数据分布 模型D(discriminative model):辨别模型,辨别输入是来自于原始数据,还是来自于生成模型最优的状态是生成模型G的输出无限接近于…
[论文总结] Enhancing the Transferability of Adversarial Attacks through Variance Tuning
[论文总结] Enhancing the Transferability of Adversarial Attacks through Variance Tuning说在前面 CVPR 2021,原文链接:http://arxiv.org/abs/2103.15571 本文作于2021年10月24日。 1. 解决的问题 [公式] 由于白盒攻击和基于迁移的黑盒攻击在攻击性能方面仍然存在很大差距,于是在本文中,作者提出了一种称为变化(variance tuning)调整的新方法,以增强基于迭代梯度的攻击方法的类别并提高其攻击可迁移性。具体来说,在每次梯度计算的…
《高级机器学习》第十五讲 对抗学习
本课程来自清华大学计算机系 唐杰 老师。授课教师主页: http://keg.cs.tsinghua.edu.cn/jietang/ 课程主页: https://www.aminer.cn/aml 第十五讲 对抗学习 1 引言大多数机器学习模型都假设是在一个理想的情况下运行,很少关注异常值;现在也有一些研究工作假设模型是在很糟糕的条件下运行;1.1 示例1:图像分类在ImageNet数据集上训练一个分类网络,这个网络可能是比较脆弱的,人眼看分类是猫的图片,网络可能会将图片分类为蜥蜴…对抗样本(adversarial example),通常由人为构造得出;如何构建与防御对抗样本的相关方向即称为对抗机器学习(adversarial machine learning)正常样本
基于对抗学习(域适应)的脑电信号SEEG/EEG分类算法
很久没有更新博客了,手头上有一些工作,发论文不是很顺利(论文已经中了,虽然是水刊,但还是很高兴),但是还是想通过博客的方式分享处理。 对抗学习(Adversarial Learning)的思想最早可以追溯到博弈论里面优化问题。GAN(Generative Adversarial Networks)网络是一种典型的基于对抗学习的神经网络。GAN的基本原理其实非常简单,这里以生成图片为例进行说明。假设我们有两个网络,G(Generator)和D(Discriminator)。G是一…
深度学习、生成对抗、Pytorch优秀教材推荐
推荐一批深度学习、生成对抗、Pytorch优秀教材推荐,绝对不容错过。 《GANs in Action》Jakub Langr and Vladimir Bok [图片] 本书简介: 《GANs in Action》:生成对抗网络式的深度学习教会你如何建立和训练自己的生成对抗网络。首先,你将了解生成对抗网络以及GANs是如何工作,以及它们潜在用途的概述。然后,你将开始构建自己简单的对抗系统,同时探索GAN网络的基础结构:生成器和判别网络。 电子版本地址:https://livebook.manning.com/#!/book/gans-in-action/ 随书…