基于Mediapipe深度学习算法的手势识别系统【含python源码+PyqtUI界面+原理详解】-python手势识别深度学习实战项目_mediapipe手势识别

相关文章推荐

玩滑板的罐头 · 基于Mediapipe深度学习算法的手势识别 ...· 2 周前 ·

耍酷的人字拖 · python音频库dejavu原理浅析· 3 年前 ·

一直单身的弓箭 · mybatis映射文件模板mapper.xm ...· 3 年前 ·

英姿勃勃的日记本 · 解决json字符串转为对象时LocalDat ...· 3 年前 ·

手势识别技术是一种将人类手部的动作转化为机器可理解形式的技术。它可以通过分析图像或视频中的手部或身体动作，来识别并理解用户的意图或指令。手势识别技术广泛应用于人机交互、虚拟现实、增强现实、智能监控等领域。通过手势识别技术，用户可以使用手势进行操作和交互，从而提供更加自然、直观的用户体验。

手势识别技术目前正处于快速发展阶段，并取得了很多重要的研究进展。以下是手势识别技术目前常见的一些研究：
1.传感器技术：传感器技术在手势识别中起着关键作用。例如，深度相机、红外传感器和摄像头等设备能够捕捉到人体的姿态和动作信息。
2.深度学习：深度学习方法在手势识别中被广泛应用。通过使用深度神经网络模型，可以实现对复杂手势的准确识别和分类。
3.实时性：实时手势识别是当前研究的一个重点。研究人员致力于提高算法的效率和响应速度，以满足实时交互的需求。
4.多模态融合：多模态手势识别结合了多种传感器数据，如图像、声音和运动数据，以提高识别准确度和鲁棒性。
5.应用：手势识别技术在各个领域都有广泛应用。例如，在虚拟现实和增强现实中，手势识别可用于交互和控制；在医疗领域，手势识别可用于康复训练和手术操作辅助等。

博主根据Mediapipe框架中的深度学习算法进行手势识别检测，并基于此开发了一款结果可视化的手势识别系统，可以通过 图片 、 视频 、 摄像头 3种方式进行手部跟踪与手势识别，并且展示相应识别结果。 可以识别数字以及其他多种常见的手部姿势 ，感兴趣的小伙伴可以自己试试。

软件初始界面如下图：
在这里插入图片描述
手势识别的界面如下，可识别画面中存在的多个手势，并区分左右手，同时也支持开启摄像头或视频检测：

一、软件核心功能介绍及效果演示

手势识别系统主要功能包括以下几个部分：
1. 支持 图片 、 视频 以及 摄像头 这3种方式进行手部动作识别；
2. 可 区分左右手 ，并显示相应 手部的坐标位置 ，以及21个手部关键点;
3. 可显示每只手的 伸出手指数 ；
4. 可识别 多种常见手势 结果，并在界面上显示；

（1）图片手势识别
点击 打开图片 按钮，选择需要识别的图片即可，操作演示如下：

（2）视频手势识别
点击 打开视频 按钮，选择需要识别的视频即可，操作演示如下：

（3）摄像头手势识别
点击 打开摄像头 按钮，即可开启摄像头，再次点击该按钮，会关闭摄像头，操作演示如下：

二、手势识别的基本原理

1.基本原理

Mediapipe是Google开源的一个多媒体处理框架，旨在为开发者提供高效、可扩展的数据流图（dataflow graph）方式来构建多媒体应用程序。它提供了一系列预训练好的模型和工具，用于处理视频、音频、姿势估计、手势识别等多媒体任务。

Mediapipe进行手势识别的基本原理是通过检测和跟踪手部关键点来识别手势。它使用了深度学习模型和计算机视觉技术来实现这一目标。首先，mediapipe使用大量的手部图像数据进行训练，以构建一个手部姿势估计模型。在进行检测时，mediapipe加载训练好的模型，并将输入的图像传递给模型。模型会检测图像中的手部区域，并定位手部关键点的位置。一旦检测到手部关键点的位置，mediapipe会利用计算机视觉技术对这些关键点进行跟踪。这有助于在连续帧之间保持关键点的一致性，以提高识别准确性。然后，根据手部关键点的位置和动作，mediapipe可以将手势分为不同的类别。这些类别可以包括手势如拳头、平手、手势指令等。

2. 代码实现

Mediapipe库基于C++实现，并提供了Python接口，使得开发者能够方便地使用这些功能。下面是使用mediapipe进行手势识别的基本原理：
安装：首先，需要安装mediapipe库。可以通过pip命令进行安装：

pip install mediapipe
导入库：导入mediapipe库和其他必要的依赖项。 
python
import cv2
import mediapipe as mp
加载模型：使用mediapipe加载已经训练好的手部关键点模型。 
mp_hands = mp.solutions.hands
hands = mp_hands.Hands()
mp_drawing = mp.solutions.drawing_utils
手势识别：打开摄像头并读取视频帧，将每一帧传递给hands.process()方法进行手势识别。 
# coding:utf-8
cap = cv2.VideoCapture(0)  # 打开摄像头
while True:
    ret, frame = cap.read()  # 读取视频帧
    if not ret:
        break
    image = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)  # 转换颜色空间
    results = hands.process(image)  # 手势识别
    # 处理识别结果
    if results.multi_hand_landmarks:
        for hand_landmarks in results.multi_hand_landmarks:
            mp_drawing.draw_landmarks(
                frame,
                hand_landmarks,
                mp_hands.HAND_CONNECTIONS) # 用于指定地标如何在图中连接。
            for point in hand_landmarks.landmark:
                x = int(point.x * frame.shape[1])
                y = int(point.y * frame.shape[0])
                cv2.circle(frame, (x, y), 5, (0, 255, 0), -1) # 画出关键点
    cv2.imshow('Gesture Recognition', frame)  # 显示结果
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()
在上述代码中，我们首先导入了mediapipe库和其他必要的依赖项。然后，使用mp.solutions.hands.Hands()加载手部关键点模型，并打开摄像头读取视频帧。每一帧都传递给hands.process()方法进行手势识别。返回的结果包含检测到的手部关键点的位置信息，我们可以根据这些信息进行相应的处理。手部关键点位置如下图：
  
通过遍历识别结果中的多个手部关键点，我们可以获取每个关键点在图像中的坐标，并在图像上绘制圆形表示关键点的位置。最后，使用cv2.imshow()方法显示结果，并通过cv2.waitKey()检测按键操作。 
这就是使用mediapipe进行手势识别的基本原理。通过结合mediapipe库提供的预训练模型和API，开发者可以更轻松地构建手势识别应用程序。
 下图是摄像头检测结果：
  
根据以上原理，博主基于python+ pyqt5开发了一个手势识别系统软件，可以用于显示手势识别的结果。也就是第二部分介绍的软件功能内容。关于该手势识别系统的涉及到的完整源码、UI界面代码等相关文件，均已打包上传，感兴趣的小伙伴可以通过下载链接自行获取。 
【获取方式】
 
环境：python3.8，pycharm2020
硬件：罗技c505e
基于前面一篇文章，我们已经能够实现手关键点的信息的提取，通过对这些信息的处理我们可以很轻松地进行手势识别。（完整代码见文末）
先看一波效果图:
封装函数（可跳过）
为方便调用，先将之前关键点提取相关函数分装成类
import cv2
import mediapipe as mp
import time
import math
class ha
				基于mediapipe识别手势所对应的数字(一、二、三、四、五)。
mediapipe的官网
总体思路：mediapipe可以识别手掌的关键点，我的思路是识别单根手指是否弯曲，然后根据五根手指的弯曲程度判断手势所对应的数字。那怎么判断单根手指是否弯曲呢？
我是根据手指的四个关键点的相对位置。比如识别大拇指的弯曲程度，先计算点4和点3的角度a，再计算点2和点1的角度b，最后计算角度a和角度b的差值的绝对值，如果绝对值小于12度，则认为大拇指是伸直的。其他手指同理。那怎么根据五根手指的弯曲程度判断手势所对应的数
				　　这是借鉴了github上的一个源程序，参考源：https://github.com/lzane/Fingers-Detection-using-OpenCV-and-Python
　　自己在这个基础上做了一点修改补充后，可以实现手指指尖的检测，并且可以在windows系统下通过判断手指数目，来模拟键盘操作。下面直接上源程序，并做了详细注释，方便理解。
　　环境：python3.6...
				OpenCV C++案例实战二十二《手势识别》前言一、手部关键点检测1.1 功能源码1.2 功能效果二、手势识别2.1算法原理2.2功能源码三、结果显示3.1功能源码3.2效果显示四、源码总结
本文将使用OpenCV C++ 实现手势识别效果。本案例主要可以分为以下几个步骤：
1、手部关键点检测
2、手势识别
3、效果显示
接下来就来看看本案例具体是怎么实现的吧！！！
一、手部关键点检测
如图所示，为我们的手部关键点所在位置。第一步，我们需要检测手部21个关键点。我们使用深度神经网络DNN模块来完成
一、基于可穿戴设备的识别
1、在手势交互过程中，可以直接采集每根手指的弯曲姿态，通过数据归一化和平滑处理两根手指之间方位的时空参数。然后，手势识别模型训练可以选择有效的特征参数。所采集的位置参数一般具有较高的精度。因此，手势模型训练方法的选择对手势识别效果影响较大。
Mehdi S A, Khan Y N. S...
          根据提供的日志，模拟器在接收到 `S6F11` 消息后报错，并随后断开 HSMS 连接（`HSMS DISCONNECTED`），紧接着出现连接失败（`ERRCODE:10061`）和 T5 超时