用Python和虚幻引擎打造一个虚拟人的原理和源码_python 虚拟人_技术老张的博客

相关文章推荐

帅气的玉米 · anaconda运行c语言 - CSDN文库· 5 月前 ·

另类的饭盒 · 是否可以更改WPF ...· 1 年前 ·

八块腹肌的机器人 · 在PowerShell中使用特定的UTC ...· 1 年前 ·

坏坏的投影仪 · cdn加速的字体服务-七牛云· 1 年前 ·

实现虚拟人程序需要使用Python和虚幻引擎两个工具。以下是完成此任务的步骤：

步骤1：安装Python和虚幻引擎
首先，需要安装Python和虚幻引擎。Python可以从其官方网站下载，而虚幻引擎可以从其官方网站下载。

步骤2：设置虚拟人程序的虚拟环境
创建虚拟环境，以便在其中运行应用程序，并安装必要的库，如OpenCV、NumPy和PyQt5，在Python和虚幻引擎中。然后将虚幻引擎设置为使用此虚拟环境。

步骤3：使用UnrealCV
使用UnrealCV库连接虚幻引擎和Python。UnrealCV是一个在虚幻引擎中的计算机视觉库，可供使用Python、Matlab和其他编程语言进行交互式虚拟现实研究和开发。

步骤4：创建虚拟人
使用Python和虚幻引擎的工具在虚幻引擎中创建虚拟人。可以使用虚幻引擎的蓝图编辑器来创建虚拟人的行动逻辑和外观。

步骤5：连接Python和虚拟人
使用Python和UnrealCV与虚拟人进行交互。该程序可以通过Python脚本控制虚拟人的动作，并利用UnrealCV库中的功能以及其他必要的库，例如OpenCV和NumPy，进行虚拟人的视觉感知和决策。

步骤6：测试应用程序
对应用程序进行测试，确保其成功运行并实现了预期的功能。

完成这些步骤后，便可以创建一个虚拟人程序，它可以通过Python和虚幻引擎进行控制并与用户进行交互。虚拟人可以在虚幻引擎中被可视化，可以通过Python脚本进行控制并且可以进行视觉感知和决策。

下面是一个完整的实现代码，其中使用Python和虚幻引擎创建一个虚拟人并进行基本的控制：

import unrealcv
import numpy as np
import cv2
import time
# 连接虚幻引擎
unrealcv.client.connect()
# 创建虚拟人
respawn_command = 'vrun consolecommand Blueprint /Game/Blueprints/MyVirtualHumanBlueprint.MyVirtualHumanBlueprint_C spawn'
unrealcv.client.request(respawn_command)
# 获取虚拟人位置
location_command = 'vget /object/MyVirtualHuman/position'
location = unrealcv.client.request(location_command)
print('虚拟人位置：{}'.format(location))
# 控制虚拟人移动并获取虚拟人视图
for i in range(3):
    # 控制虚拟人向前移动500个单位
    move_command = 'vset /object/MyVirtualHuman/translation {} {} {}'.format(location[0] + 500 * (i+1), location[1], location[2])
    unrealcv.client.request(move_command)
    time.sleep(1) # 等待1秒，确保虚拟人移动到新位置
    # 获取虚拟人视图
    image_command = 'vget /camera/0/lit png'
    image_data = unrealcv.client.request(image_command)
    image = cv2.imdecode(np.fromstring(image_data,np.uint8),cv2.IMREAD_UNCHANGED)
    # 显示虚拟人视图
    cv2.imshow('Virtual Human View',image)
    cv2.waitKey(0)
# 关闭虚拟人程序
destroy_command = 'vrun consolecommand Blueprint /Game/Blueprints/MyVirtualHumanBlueprint.MyVirtualHumanBlueprint_C destroy'
unrealcv.client.request(destroy_command)
# 断开虚幻引擎连接
unrealcv.client.disconnect()
在这个例子中，我们通过连接虚幻引擎并运行一系列命令来创建和控制虚拟人。程序中使用的vrun、vget和vset命令都是UnrealCV提供的基本命令，可以通过UnrealCV文档了解其详细用法。我们还使用OpenCV库来处理虚拟人视图，并在控制台打印虚拟人位置。 
该程序将虚拟人向前移动到三个不同的位置，并在每个位置获取虚拟人视图。程序通过等待一秒钟来确保虚拟人移动到新位置。在每个位置，虚拟人视图显示在一个弹出窗口中，用户可以按任意键来关闭窗口。最后，我们通过运行销毁命令来关闭虚拟人程序。
                    该程序可以通过Python脚本控制虚拟人的动作，并利用UnrealCV库中的功能以及其他必要的库，例如OpenCV和NumPy，进行虚拟人的视觉感知和决策。完成这些步骤后，便可以创建一个虚拟人程序，它可以通过Python和虚幻引擎进行控制并与用户进行交互。虚拟人可以在虚幻引擎中被可视化，可以通过Python脚本进行控制并且可以进行视觉感知和决策。创建虚拟环境，以便在其中运行应用程序，并安装必要的库，如OpenCV、NumPy和PyQt5，在Python和虚幻引擎中。首先，需要安装Python和虚幻引擎。
				UnrealCV UnrealCV是一个旨在帮助计算机视觉研究人员使用虚幻引擎4（UE4）构建虚拟世界的项目。
通过提供以下功能，它通过插件扩展了UE4：一组UnrealCV命令，用于与虚拟世界进行交互。
UnrealCV UnrealCV是一个旨在帮助计算机视觉研究人员使用虚幻引擎4（UE4）构建虚拟世界的项目。
通过提供以下功能，它通过插件扩展了UE4：一组UnrealCV命令，用于与虚拟世界进行交互。
UE4与外部程序（例如Caffe）之间的通信。
UnrealCV可以以两种方式使用。
第一个是使用嵌入了UnrealCV的已编译游戏二进制文件。
这就像运行游戏一样简单，不需要虚幻引擎知识。
第二个是installin
1.随机设置假人的姓名、性别（2代表男生，3代表女生）、城市、薪水。采用split+通过random函数实现
2.采用循环了1000个假人，生成采用了列表嵌套字典及列表中存放了1000条字典数据
4.通过双重循环随机配对，配对成功即break（破出循环），其它复杂情况留着以后玩
5.在配对过程中要注意男-女配对的问题，将（1-sex）即可得到需要的另外一个性别
6.格式化输出配对成功的假人
7.输出配对成功的人数
 在Windows上，使用PIP检索HARFANG:registered:3D 
pip install -r requirements.txt
 在其他系统上，检索网站上的最后一个轮子。 
pip install harfang.whl
要在HARFANG中启用VR，我们需要切换到特定的FrameRenderer。 首先，我们询问称为“ VR”的帧渲染器插件是否可用。
 openvr_frame_renderer = hg . CreateFrameRenderer ( "VR" )
 然后我们初始化渲染器以设置OpenVR系统。 它可以
				1.如果尚未启动WSL-ROS环境，请运行Windows“开始”菜单中的WSL-ROS快捷方式。这将打开一个终端应用程序和一个Ubuntu终端实例。我们将这个终端实例称为终端1。
在终端中输入以下命令，在一个空世界中启动TurtleBot3华夫饼的模拟：
[TERMINAL 1] $ roslaunch turtlebot3_gazebo turtlebot3_empty_world.launch
一个露台模拟窗口应该打开，在里面你会看到一个TurtleBot3华夫饼干
2.在新终端实例中，输入以下命令：
				1、虚拟人物下载（fbx）:Mixamo2、虚拟人物设计：可以下载makehuman，然后导出为obj或fbx格式，并且在Mixamo上面进行绑定骨架3、骨架绑定（需要带有界面的GPU机器）自动完成骨架绑定：https://github.com/zhan-xu/RigNet4、也可以利用 :Mixamo上传对应的模型进行骨架绑定5、代码操作部分（相机跟拍、人物动作混合、声音轨道和动作轨道混合）：
6、注意，对于不熟悉用什么代码的，可以通过blender界面设置查看操作对应的代码：...
				在这里提供一个使用 YOLO 识别人体摔倒的 Python 程序的框架。这个程序使用的是 OpenCV 库，可以从摄像头获取实时视频流，并在摔倒事件发生时进行检测和警告。
首先，你需要安装 OpenCV 库和 YOLO 模型。你可以使用以下代码安装这些库：
pip install opencv-python
pip install opencv-contrib-python
pip install numpy
pip install imutils
pip install tensorflow
pip install keras
然后，使用以下代码导入所需的库：
```python
import cv2
import numpy as np
import imutils
import tensorflow as tf
import keras.backend as K
from keras.layers import Input
from keras.models import load_model
from imutils.video import VideoStream
from imutils.video import FPS
接下来，你需要加载 YOLO 模型，并使用 OpenCV 函数来获取视频流：
```python
# Load YOLO model
model_path = 'path/to/your/yolo/model.h5'
yolo_model = load_model(model_path)
# Get video stream
vs = VideoStream(src=0).start()
time.sleep(2.0)
fps = FPS().start()
接下来，你需要在循环中不断检测视频流中是否有人摔倒。你可以使用 OpenCV 函数将视频帧转换为灰度图像，并使用 YOLO 模型进行人体检测。如果检测到人体摔倒，你可以使用 OpenCV 函数在视频帧中绘制矩形，并发出警告。
```python
while True:
    # Get frame from video stream
    frame = vs.read()
    frame = imutils.resize(frame, width=400)