1. UnityToolkit

1.1 什么是UnityToolkit?

UnityToolkit是 RealSense SDK 在unity中的插件。它包含了一系列的脚本、预设和其他工具,用来更方便的将RealSense技术和Unity结合起来开发。

1.2 版本需求

我的RealSense SDK版本是Intel® RealSense™ SDK 2015 R5,这个版本对于unity的要求是

Unity v4.1.0 PRO (for the plugin capability), or higher.

1.3 例程

我们可以在安装好的RealSense SDK下找到它的例程(RSSDK\Samples\UnityToolkit,用unity直接打开即可)。
我的unity版本是5.3.0,摄像头使用的是F200。
可以看到UnityToolkit中有许多场景,分别对RealSense SDK中的不同算法进行了应用,相当于对用户的教程。图中展示的就是其中的一个场景–Point Cloud,实现的效果是将摄像头拍摄到的点云经过mesh实时重建出来。

2. 分析和扩展

2.1 分析

可以看到每个场景都有SenseManager这个预设,相当于在我们的场景中“安装”上了RealSense摄像头,因此在我们开发自己应用的时候首先要将这个预设拖进场景。

2.2 扩展

我们通过前面讲的 在Unity中实现点云的效果 对这个例程进行修改。不让模型Mesh,只生成点云,这就需要修改PointCloudViewer.cs这个脚本,并且新建一个shader。
首先将实现的效果放在下面:

rgbd_launch是一组打开RGBD设备,并load 所有nodelets转化 raw depth/RGB/IR 流到深度图(depth image), 视差图(disparity image)和点云(point clouds)的launch文件集。 一般来说 Real sense 是用C++写的,比如intel官方的例程就是这样的: https://dev.intel real sense .com/docs/codeguanwangshan-samples 不可否认C++确实有它的优势,快啊!但是我C++玩不熟练啊!!!项目又得用Un... Unity 推出的这个 UI ToolKit ,据说是要用来替代UGUI。既然这么有野心,那肯定要搞来看一看。这次使用目标就是用这个 UI ToolKit 生成一堆类似HUD的头标,然后看看使用难易程度和性能如何。 UI ToolKit 分为Editor和Runtime,这里先梳理下运行时(Runtime)的,从新建工程,创建UIDocument,VisualElement,演示USS,到用C#获取控件,绑定事件等一系列基础使用流程。大致流程如下:1.创建项目。( unity 版本选择及基础介绍)2.创建UIDocument3.部分基础控件VisualElement,label,button创建及样式编辑4.创建USS,及使用5.创建C#脚本,获取控件及绑定事件6.运行测试。...... CMake Intel Real sense SDK 2.0 貌似已经有了红外摄像头和RBG摄像头的标定数据,本例参照example里面的例程Align进行简化和修改,注释翻译。这里是直接用 SDK 的对齐了,迟点会出自己实现的对齐方案。 Unity :2019.4.16f1版本; XR Interaction Toolkit :0.10.0-preview; 我用的还是预览版,在 unity 2020版本 toolkit 就已经是正式版了。 Package Manager的介绍: Unity Package - 手册 XR Plugin Management XR Plugin Management:用于简化 XR 插件管理的包。提供有关 XR 插件的加载、初始化、设置和构建支持的帮助和管理功能。 Window→Package Mana.