工具&框架

🚧 『Galileo』京东出品的图深度学习框架

Galileo（伽利略）是京东出品的图深度学习框架，具备超大规模、易使用、易扩展、高性能、双后端等优点，旨在解决超大规模图算法在工业级场景的落地难题，提供图神经网络和图嵌入等模型的训练评估及预测能力。Galileo 图深度学习框架采用分层设计理念，主要分为分布式图引擎、图多后端框架、图模型三层。

🚧 『PersonalizedFL』个性化联邦学习工具库

github.com/microsoft/P…

PersonalizedFL 是基于 PyTorch 的联邦学习代码库，面向研究设计，具有易于学习、易于扩展、用于公平比较等特点，同时为了快速入门而舍弃了很多不常用的扩展。作为初始版本，PersonalizedFL 当前支持的算法包括 FedAvg、FedProx、FedBN、FedAP、MetaFed，并且更多算法在开发中。

🚧 『Papyri』IPython和Jupyter中构建与发布文档工具

github.com/jupyter/pap…

Papyri 可以在 IPython 和 Jupyter 中构建、发布、安装和渲染文档，旨在帮助构建更好的科学生态系统。Papyri 具备以下特性：跨库的双向交叉链接、导航、图像嵌入、数学公式渲染。作者在这里阐述了项目的起源和后续规划。

🚧 『lamda』安卓逆向 & 自动化辅助框架

github.com/rev1si0n/la…

这是一个用于安卓逆向及自动化的辅助框架，它以编程化的接口大幅减少手动操作，减少在琐碎问题上花费的时间。框架具备零依赖、调用简单、兼容性高、自动化操作手机等一系列特性。Repo 文档非常详细！对新手非常友好~

🚧 『torchimize』PyTorch 实现的数值优化算法

github.com/hahnec/torc…

Gauss-Newton（高斯 - 牛顿法）和 Levenberg-Marquardt（列文伯格-马夸尔特法）是最常用的两种数值优化算法。torchimize 使用 PyTorch 库实现了这两种算法，从而达成『在GPU上实现基于 torch.Tensor 类的凸优化』这一目标。值得注意的是，torchimize 能够在每个循环迭代中并行地最小化几个最小二乘优化问题。

博文&分享

👍 TU Berlin『基于事件的机器人视觉』课程

www.youtube.com/playlist?li…

sites.google.com/view/guille…

『Event-based Robot Vision SS2020』是 TU Berlin（Technische Universität Berlin，柏林高等工业学校）开设的『视觉信息处理』课程，讲师 Guillermo Gallego 自 2019 年担任柏林工业大学和爱因斯坦数字未来中心 (ECDF) 的『机器人交互感知』的教授，研究重点是机器人技术、计算机视觉和应用数学的交叉领域。

课程讲授处理视觉信息的新方法、基于事件视觉技术（event-based vision）、事件相机（event-based camera）技术的实践经验，内容非常前沿，可以说是世界上第一门此类课程，涵盖的具体主题包括基于事件的传感器的生物启发式工作原理、运动估计、模式识别、信号处理与滤波（filtering）等等。课程提供了丰富的学习资料，除视频、课件、练习外，还有大量的学术论文和参考资料等。

👍 『机器学习』项目 /代码 / 博客文章等的分享社区

github.com/GokuMohanda…

madewithml.com/

这是一个机器学习的内容分享社区，作者 Goku Mohandas 曾就职于Apple。社区的主要内容围绕 MLOps（Machine Learning Operations）展开，并且强化了内容在『hands-on 动手实现』『intuition-first 直觉先行』『software engineering 软件工程』『focused yet holistic 拓展丰富』这四个方面的特性。

主题以 Lesson 的系列内容形式展开，每周更新，包含四个部分：intuition 概念、code 代码、application 应用、extensions 拓展。如果你想成为更好的软件工程师、更负责任地交付ML、掌握更实用的技能等，那可以试试这个网站！

数据&资源

🔥 『Python』迷你练手项目集锦

github.com/Python-Worl…

新手入门，想先找点简单的、几行代码就能搞定的小项目练练手？这个项目正合适！Ropo 收集整理了 102 个 mini 的 Python 小项目，非常适合初学者用来玩耍和练习。

🔥 『HUPD』哈佛 USPTO 专利数据集

github.com/suzgunmirac…

🔥 『迁移学习导论 (第二版)』配套代码

github.com/jindongwang…

jd92.wang/tlbook/

研究&论文

公众号回复关键字日报，免费获取整理好的论文合辑。

2022.07.10 『 计算机视觉 』 DPText-DETR: Towards Better Scene Text Detection with Dynamic Points in Transformer

2022.05.03 『 计算机视觉 』 Masked Generative Distillation

2022.05.03 『 计算机视觉 』 Subspace Diffusion Generative Models

2022.06.17 『 计算机视觉 』 Learning Implicit Feature Alignment Function for Semantic Segmentation

⚡ 论文：DPText-DETR: Towards Better Scene Text Detection with Dynamic Points in Transformer

论文时间 ：10 Jul 2022

所属领域 ： 计算机视觉

对应任务 ：Scene Text Detection，场景文字检测

论文地址 ： arxiv.org/abs/2207.04…

代码实现 ： github.com/ymy-k/dptex…

论文作者 ：Maoyuan Ye, Jing Zhang, Shanshan Zhao, Juhua Liu, Bo Du, DaCheng Tao

论文简介 ：However, the used point label form implies the reading order of humans, which affects the robustness of Transformer model./然而，所使用的点标签形式暗示了人类的阅读顺序，这影响了Transformer模型的鲁棒性。

论文摘要 ：最近，基于Transformer的方法，即预测多边形点或贝塞尔曲线控制点来定位文本，在场景文本检测中相当流行。然而，使用的点标签形式意味着人类的阅读顺序，这影响了Transformer模型的鲁棒性。在模型结构方面，以前的方法对解码器中使用的查询的表述没有进行充分的探讨。在本文中，我们提出了一个简洁的动态点场景文本检测Transformer网络，称为DPText-DETR，它直接使用点坐标作为查询，并在解码器层之间动态更新。我们指出了一种简单而有效的位置点标签形式来解决原来的缺点。此外，我们还设计了一个增强的因素化自注意模块，以明确地模拟多边形点序列的圆形，超越非局部注意。广泛的实验证明了在各种任意形状的场景文本基准上的训练效率、稳健性和最先进的性能。在检测器之外，我们观察到现有的端到端检测器在识别反转类文本方面存在困难。为了客观地评估它们的性能并促进未来的研究，我们提出了一个包含500张手动标记的图像的逆向文本测试集。代码和逆向文本测试集将在 github.com/ymy-k/DPTex… 发布。

⚡ 论文：Masked Generative Distillation

论文时间 ：3 May 2022

所属领域 ：计算机视觉

对应任务 ：Image Classification，Instance Segmentation，Knowledge Distillation，object-detection，Object Detection，Semantic Segmentation，图像分类，实例分割，知识蒸馏，物体检测，语义分割

论文地址 ： arxiv.org/abs/2205.01…

代码实现 ： github.com/yzd-v/MGD

论文作者 ：Zhendong Yang, Zhe Li, Mingqi Shao, Dachuan Shi, Zehuan Yuan, Chun Yuan

论文简介 ：The current distillation algorithm usually improves students' performance by imitating the output of the teacher./目前的蒸馏算法通常通过模仿“教师”的输出来提高“学生”的成绩。

论文摘要 ：知识蒸馏法已被成功地应用于各种任务。目前的蒸馏算法通常通过模仿教师的输出来提高学生的成绩。本文表明，教师也可以通过指导学生的特征恢复来提高学生的表述能力。从这个角度出发，我们提出了遮蔽生成蒸馏法（MGD），它很简单：我们遮蔽学生特征的随机像素，通过一个简单的区块强制它生成教师的全部特征。MGD是一个真正通用的基于特征的蒸馏方法，可以利用在各种任务上，包括图像分类、物体检测、语义分割和实例分割。我们用广泛的数据集对不同的模型进行了实验，结果显示所有的学生都取得了出色的改进。值得注意的是，我们将ResNet-18的ImageNet top-1准确率从69.90%提高到71.69%，将带有ResNet-50骨干的RetinaNet从37.4提高到41.0 Boundingbox mAP，将基于ResNet-50的SOLO从33.1提高到36.2 Mask mAP，将基于ResNet-18的DeepLabV3从73.20提高到76.02 mIoU。我们的代码可在 github.com/yzd-v/MGD 获取。

⚡ 论文：Subspace Diffusion Generative Models

论文时间 ：3 May 2022

所属领域 ： 计算机视觉

对应任务 ：Denoising，Image Generation，降噪，图像生成

论文地址 ： arxiv.org/abs/2205.01…

代码实现 ： github.com/bjing2016/s…

论文作者 ：Bowen Jing, Gabriele Corso, Renato Berlinghieri, Tommi Jaakkola

论文简介 ：Score-based models generate samples by mapping noise to data (and vice versa) via a high-dimensional diffusion process./基于分数的模型通过高维扩散过程将噪声映射到数据（反之亦然）来生成样本。

论文摘要 ：基于分数的模型通过高维扩散过程将噪声映射到数据（反之亦然）来生成样本。我们质疑是否有必要在高维度上运行整个过程。相反，我们通过对子空间的投影来限制扩散，因为数据分布向噪声演化。当应用于最先进的模型时，我们的框架同时提高了样本质量--在无条件的CIFAR-10上达到了2.17的FID--并且在相同数量的去噪步骤中降低了推理的计算成本。我们的框架与连续时间扩散完全兼容，并保留了其灵活的能力，包括精确的对数似然和可控制的生成。代码可在 github.com/bjing2016/s… 获取。

⚡ 论文：Learning Implicit Feature Alignment Function for Semantic Segmentation

论文时间 ：17 Jun 2022

所属领域 ：计算机视觉

对应任务 ：Semantic Segmentation，语义分割

论文地址 ： arxiv.org/abs/2206.08…

代码实现 ： github.com/hzhupku/ifa

论文作者 ：Hanzhe Hu, Yinbo Chen, Jiarui Xu, Shubhankar Borse, Hong Cai, Fatih Porikli, Xiaolong Wang

论文简介 ：As such, IFA implicitly aligns the feature maps at different levels and is capable of producing segmentation maps in arbitrary resolutions./因此，IFA隐含地将不同层次的特征图对齐，并能够产生任意分辨率的分割图。

论文摘要 ：在语义分割中，将高层次的背景信息与低层次的细节结合起来是非常重要的。为此，大多数现有的分割模型对不同尺度的特征图进行双线性上采样和卷积，然后在相同的分辨率下将它们对齐。然而，双线性上采样模糊了在这些特征图中学习到的精确信息，而卷积会产生额外的计算成本。为了解决这些问题，我们提出了隐式特征对齐功能（IFA）。我们的方法受到了迅速扩展的隐性神经表征主题的启发，其中基于坐标的神经网络被用来指定信号的领域。在IFA中，特征向量被看作是代表一个二维的信息场。给定一个查询坐标，附近的特征向量及其相对坐标从多级特征图中获取，然后输入MLP以产生相应的输出。因此，IFA隐含地对齐了不同层次的特征图，并且能够产生任意分辨率的分割图。我们在多个数据集上证明了IFA的功效，包括Cityscapes、PASCAL Context和ADE20K。我们的方法可以与各种架构上的改进相结合，并且在常见的基准上实现了最先进的计算-准确度权衡。代码将在 github.com/hzhupku/IFA 发布。

我们是 ShowMeAI ，致力于传播AI优质内容，分享行业解决方案，用知识加速每一次技术成长！点击查看 历史文章列表 ，在公众号内订阅话题 #ShowMeAI资讯日报 ，可接收每日最新推送。点击 专题合辑&电子月刊 快速浏览各专题全集。

作者：韩信子 @ ShowMeAI

历史文章列表

专题合辑&电子月刊

欢迎回复，拜托点赞，留言推荐中有价值的文章、工具或建议，我们都会尽快回复哒~