|
|
全部内容
已认证账号
1. 前言 迁移学习（Transfer Learning,TL）对于人类来说，就是掌握举一反三的学习能力。比如我们学会骑自行车后，学骑摩托车就很简单了；在学会打羽毛球之后，再学打网球也就没那么难了。对于计算机而言，所谓迁移学习，就是能让现有的模型算法稍加调整即可应用于一个新的领域和功能的一项技术。 不久前，香港科技大学的杨强教授在机器之心GMIS大会中回顾AlphaGo和柯洁的围棋大战时曾说，AlphaGo 看上去像神一样的存在，好像是无…
ICLR 2023：环境标签平滑，一行代码提升对抗学习稳定性/泛化性
学术农工
Domain adaptation（DA: 域自适应），Domain generalization（DG: 域泛化）一直以来都是各大顶会的热门研究方向。DA假设我们有有一个带标签的训练集（源域），这时候我们想让模型在另一个数据集上同样表现很好（目标域），利用目标域的无标签数据，提升模型在域间的适应能力是DA所强调的。以此为基础，DG进一步弱化了假设，我们只有多个源域的数据，根本不知道目标域是什么，这个时候如何提升模型泛化性呢？核心在于如何利用多个…
基于迁移学习的城市预测
AI数据挖掘博士
最近读论文，看到了关于城市计算的一篇论文，今天解读一下。与大家一起分享一下。 [图片] 论文作者信息 摘要时空预测对于城市计算非常的重要，例如交通预测 ，空气质量预测。足够多的数据是先决条件，特别是使用深度学习时。然而，不同城市的发展水平是不平衡的， 许多城市仍然面临着数据匮乏的问题。为了解决这一问题，文章中提出了一种新的跨城市迁移学习方法，用于深度时空预测任务，称为RegionTrans。RegionTrans的目标是有效地 将…
联邦学习前路如何？杨强：已到“合久必分”的状态
衡宇 金磊 发自 凹非寺 量子位 | 公众号 QbitAI2022年，联邦学习论文数量出现 大幅跃升，成为了屡登顶会的香饽饽：NeurIPS发布联邦学习论文41篇，较前一年有近30%的增长幅度；ICML则在2022年收录联邦学习论文74篇，几乎成倍于2021年。 这个规律同样存在于顶会AAAI、AISTATS、KDD及CVPR中。 [图片] 联邦学习论文在顶会频现，相应的，相关产业实践也进行得如火如荼。 这个现象的最好解答者，自然是联邦学习领域的国内最知名大牛：香港科…
匿名用户
欢迎关注弱样本学习(weak-shot learning) https://github.com/bcmi/Awesome-Weak-Shot-Learning 1 综述1.1 跨种类迁移深度学习模型的训练需要大量标注良好的训练样本，但是这种训练样本的获取成本非常高昂。现实世界中种类繁多，新种类也在源源不断地出现，因此不可能为所有种类收集大量标注良好的训练样本。尽管目前有很多高质量的标注数据库，但它们只包含有限个基础种类，如何从基础种类拓展到新种类成为很多热门领域的研究内容。比如零样本学习(zero-shot le…
在涅贵不缁，暧暧内含光。
2018.1. 二次更新 / 重点介绍迁移学习和其相关方向，完整删除之前的答案，并重新规整了迁移学习内容和代表性文章。 什么是/为什么要迁移学习？迁移学习(Transfer learning) 顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率不…
做实事，有价值的事，长期的事
"蒸馏"，一个化学用语，在不同的沸点下提取出不同的成分。知识蒸馏就是指一个很大很复杂的模型，有着非常好的效果和泛化能力，这是缺乏表达能力的小模型所不能拥有的。因此从大模型学到的知识用于指导小模型，使得小模型具有大模型的泛化能力，并且参数量显著降低，压缩了模型提升了性能，这就是知识蒸馏。
这篇论文首次提出了知识蒸馏的概念，核心思想就是训练一个复杂模型，把这…
Adapter/Prompt文献整理
醉眼看人间，个个都温柔
记录一下～ 传统方法对预训练模型的所有参数进行微调，随着模型大小和任务数量的增加， 最近很多工作提出了一系列参数有效的转移学习方法，这些方法仅微调少量（额外）参数以获得强大的性能。通常会将预训练模型的参数进行固定，只训练这部分添加到模型中的参数，当然也可以整体微调。 1/ Parameter-Efficient Transfer Learning for NLP提出Adapter， Adapter 模块插入在Transformer layer内部，在FFN之后，内部则是两个映射层…
机器学习必读TOP 100论文清单：高引用、分类全、覆盖面广丨GitHub 21.4k星
萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI想要入门机器学习，奈何领域的新论文太多，不知道该看哪一篇？ 自2017年以来，超越SOTA的方法天天有，但往往针对性非常强，不一定是颠覆机器学习圈的重要成果。 又回到了熟悉的话题：要想入行，还得看 高引用经典论文。这里整合了2012年到2016年的高引TOP 100论文，引用量要求随着年份递减而递增，Hinton、Bengio、何恺明等大牛的论文都在其中，一起来看看吧： 清单列表理解、泛化…
迁移学习+NLP：对话状态跟踪的持续Prompt Tuning （ACL 2022）
DL+NLP @ UIUC
泻药。笔者姑且做了几年NLP，最近正好在做NLP和持续学习的融合，也有同学来问我NLP最近有什么热点。这里给一下我自己的2022年哪些方向可以出paper的看法。Jack的回答：自然语言处理有哪些方向适合独立研究？ 以下是回答里面的完整文章精读。 前置知识每一篇paper都是大量领域知识融合的结晶。为了轻松读懂这篇paper，你需要先对以下内容有粗略的了解，而了解最快的方法就是阅读博客： Prompt Tuning（提示微调、提示学习） [文章: 提示学习Prompt Tuning：面向研究综述]