1. 简介

  • RTMPose:Real-Time Multi-Person Pose Estimation based on MMPose (实时支持6人)
  • GAU:Gated Attention Unit
  • FFN:Feed-Forward Networks
  • GLU:Gated Linear Unit
  • RTMPose:Top-Down范式
  • 推理时间-准确度 (圆的大小表示模型参数的相对大小)
    在这里插入图片描述

2. 网络结构

  • Backbone: CSPNeXt (在速度与精度间可取得较好的平衡,且可进行友好地布署)
  • 预测KeyPoints: SimCC-based (把关键点定位当作一个分类任务,与基于热图(heatmap)的算法相比,SimCC-base可以获得具有竟争力的准确度和更低的计算量)
    • 坐标分类(本方法)
    • 坐标回归 (其它方法)
    • 热图回归(其它方法)
  • 部署支持的推理框架: PyTorch, ONNX Runtime, TensorRT, ncnn
    在这里插入图片描述

2.1 RTMPose推理Pipeline

2.2 性能比较

  • YOLOv3
  • Faster-RCNN
  • RTMDet
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

2.3 RTMPose训练参数

今天,学习 RTMP ose 关键点检测实战。教大家如何安装安装MMDetection和MMP ose 。实战项目以三角板关键点检测场景为例,结合OpenMMLab开源目标检测算法库MMDetection、开源关键点检测算法库MMP ose 、开源模型部署算法库MMDeploy,全面讲解项目全流程:数据集:Labelme标注数据集、整理标注格式至MS COCO目标检测:分别训练Faster R CNN和RTMDet-Tiny目标检测模型、训练日志可视化、测试集评估、对图像、摄像头画面预测。 export_block('simple_p ose _resnet18_v1b', net, preprocess=True, layout='HWC') 转换出来的不能成功部署到NCNN上,所以在python源码中我注释掉了。 # this one works O RTMP ose 关键点检测全流程 保姆级代码教程: github.com/TommyZihao/MMP ose _Tutorials 微信答疑群(免费):公众号 OpenMMLab 回复 子豪兄三角板 安装MMDetection和MMP ose 两个OpenMMLab开源计算机视觉算法库。 MMDetection用于训练目标检测算法。MMP ose 用于训练姿态估计和关键点检测算法,包括 RTMP ose 。 在正式开讲之前,先给大家小段热舞:姿态估计,计算机视觉的核心任务之一,还原纷繁外表之下的空间信息,洞察千姿百态背后的本征结构。MMP ose 作为OpenMMLab开源算法体系中的姿态估计算法库,自 2020 年发布以来,经过 2 年的不断迭代打磨,已经成为姿态估计领域覆盖算法最多,功能最全的开源算法库之一。 git clone --recursive https://github.com/intel-isl/Open3D # You can also update the submodule ma 图像分类、目标检测、语义/实例/全景分割、超像素1. 图像分类(image classification)2. 目标检测(object detection)3. 图像分割(image segmentation)3.1 语义分割(semantic segmentation)3.2 实例分割(instance segmentation)3.3 全景分割(panoptic segmentation)4. 超像素(superpixels) 1. 图像分类(image classification) 就是识别图像中有