|
|
domain adaptation
ICLR 2023：环境标签平滑，一行代码提升对抗学习稳定性/泛化性
学术农工
Domain adaptation（DA: 域自适应），Domain generalization（DG: 域泛化）一直以来都是各大顶会的热门研究方向。DA假设我们有有一个带标签的训练集（源域），这时候我们想让模型在另一个数据集上同样表现很好（目标域），利用目标域的无标签数据，提升模型在域间的适应能力是DA所强调的。以此为基础，DG进一步弱化了假设，我们只有多个源域的数据，根本不知道目标域是什么，这个时候如何提升模型泛化性呢？核心在于如何利用多个…
数据集偏移&领域偏移 Dataset Shift&Domain Shift
工程师
项目中遇到的分布偏移问题 最近在完成实验室的项目，发现训练数据和测试数据有一定的gap。将数据集的gap （differences between datasets）这个问题抽象出来便是Dataset Shift问题。它描述了数据分布不一致的问题，明显是一个比网络设计/注意力机制等看起来稍偏底层的问题，因此对该问题的探究可能可以帮助我们为上层建筑方法的实践提供理论指导。不过分布偏移是一个intuitive的想法，为了能找到解决问题的肩膀，还是要进一步bri…
ICLR 2022 跨域物体检测的解耦自适应方法D-adapt
本文介绍本组ICLR 2022迁移方向的最新工作：Decoupled Adaptation for Cross-Domain Object Detection。 [图片] 作者：江俊广，陈柏旭，王建民，龙明盛 论文链接： Decoupled Adaptation for Cross-Domain Object Detection 代码链接： TLlib: Domain Adaptation for Object Detection Slides链接： https://junguangjiang.github.io/files/D_adapt_slides.pdf 了解基本的域对抗自适应算法可以帮助你更好地阅读本文。 [文章: 域对抗自适应算法的设计、不足与改进（Domain Adversarial Learning）]
【Domain Adaptation in Object Detection】Domain Adaptive Faster R-CNN详解
热爱生活，学而不精
0 前言之前，我们就 生成对抗网络GAN和域适应DA展开了相关文献阅读和总结，链接分别如下： [文章: 【GAN】GAN论文总结和解析（不断更新中）] [文章: 【迁移学习】Domain Adaptation系列论文解析（不断更新中）] 当然了，以上两个总结系列文章还在“不断更新中”。 这里顺便提下，上述的DA方法一般应用在 图像分类任务中。因此就算法和模型复杂度来说，不如其应用在目标检测领域中。这是因为在图像分类任务中，我们往往只需要在 图像水平…
嗯？
简单来说，看 objective function，DA 是在 target distribution 上 evaluate，Meta 是在 a group of distribution 上 evaluate。两者都是 evaluate distribution 和 train distribution 不同，都需要学到 transferable features 才能达到目的。 Domain adaptation （DA）是从 source distribution 到 target distribution（指 training data 和 testing data），这两个都是给定的，所以可以因此而优化。 Meta learning （Meta）…
ICCV 2021：Generalized Source-free Domain Adaptation
学术农工
这篇文章介绍一篇ICCV 2021的工作：Generalized Source-free Domain Adaptation。这篇文章和传统DA的setting关注点有以下一些不同： 模型在source/target domain上都要有不错的表现。在adaptation的时候，我们只能得到目标域的无标签数据和在源域预训练好的模型，而不能获取源域的训练数据。我们首先介绍一下本文的setting，然后细节的介绍一下本文的方法，最后看一下实验和结论。 Problem Setting and Notations公式化的描述本…
元学习，少样本学习，计算机博士在读
2020年之前，少样本学习基本都是用元学习的框架来解决的。此类方法的主要思想是让网络学会任务之间的泛化能力，例如通过学习一个好的模型初始参数、好的优化算法、好的度量空间以及好的度量策略等来提升任务泛化能力。2020年我认为就是少样本学习思路转变的一年，一个比较有启发意义的工作是：在基类上做个预训练来获得一个特征提取器，然后直接利用基于余弦距离的最近邻分类器来完成新类的类别预测。这个方法不仅简单而且还获得…
清华软件学院博士研究生，人工智能/机器学习/迁移学习
Domain Adaptation是迁移学习的一个子方向，我们组在Domain Adaptation及广义的迁移学习方向上有长时间的积累，并且我们组的公众号经常不定期发推送介绍迁移学习相关的新工作，欢迎关注并一起探索！ 以下是一些有趣的方向，都还有很大的探索空间： Video领域的domain generalization： TPAMI 2021｜VideoDG:首个视频领域泛化模型 用自训练的方法来解决Domain Adaptation： NeurIPS2021 | Cycle Self-Training：领域自适应的循环自…
IJCV | 利用Uncertainty修正Domain Adaptation中的伪标签
论文题目: Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation Paper 已经被 IJCV 接收了，感谢大家的意见和帮助，真的真的真的非常感谢。 论文地址: https://arxiv.org/pdf/2003.03773.pdf 作者：Zhedong Zheng, Yi Yang 代码： https://github.com/layumi/Seg_Uncertainty [图片] 朗读版： [视频: IJCV | 利用不确定性来修正伪标签学习] What: 本文研究的是领域迁移问题中错误的伪标签(Pseudo Label)的问题，探讨了如何自动设定阈值来修正这种伪标签学习。之前的伪标…
PMLR2022: Toward Learning Human-aligned Cross-domain Robust Models by Countering Misaligned Features
Slow down to go fast.
引子有生之年终于支持公式识别了，正好看到一篇很有意思的文章，就突然高产一下~ 本文中作者将泛化误差归因于模型学习了源数据域与测试数据之间存在的非对齐特征，并提出引入非对齐特征与标签关联的先验知识（结合data augmentation方法，如adversarial training）可以对其经验损失近似求解。 1. Introduction先举出了个简单例子：一个数据集中包括一些橙色的三角形与绿色的圆形，对此人类学习模式可以抽象为颜色函数和形状函数…