vr怎么使用方法(vr技术的应用案例)

机器心脏报告

编辑:船

机器人动作往往略显笨拙和机械。现在，他们可以像人一样灵活。

近年来，在机器人领域出现了许多有趣的发展，例如机器狗可以跳舞，踢足球，双足机器人可以移动东西。通常，这些机器人依赖于基于感官输入生成控制策略。虽然这种方法避免了开发状态估计模块、建模对象属性和调整控制器增益的挑战，但它需要大量的领域专业知识。即使已经取得了很多进展，但学习瓶颈使得机器人很难执行任何任务和实现通用目标。

要理解机器人学习的关键，一个核心问题是:我们如何收集机器人的训练数据？一种方法是通过自我监控数据收集策略来收集关于机器人的数据。虽然这种方法很健壮，但即使是相对简单的操作任务，通常也需要数千小时才能与现实世界中的大量数据进行交互。另一种是在模拟数据上训练，然后迁移到真实的机器人上(Sim2Real)。这使得机器人学习复杂的机器人行为的速度快了几个数量级。然而，设置模拟机器人环境和指定模拟器参数通常需要广泛的领域专业知识。

其实还有第三种方法。收集训练数据也可以要求人类老师提供演示，然后训练机器人快速模仿人类演示。这种模拟方法最近在各种具有挑战性的操作问题中显示出巨大的潜力。然而，这些工作中的大多数都有一个根本性的限制——很难为机器人收集高质量的演示数据。

基于上述问题，来自纽约大学和Meta AI的研究人员提出了HOLO-DEX，这是一个收集演示数据和训练灵巧机器人的新框架。它使用VR头显(如Quest 2)将人类教师置于身临其境的虚拟世界中。在这个虚拟世界中，教师可以从机器人的眼睛中查看机器人的“看见”场景，并通过内置的姿态检测器控制快板机械手。

看起来像是人们“手拉手”教机器人做动作:

HOLODEX允许人类通过低延迟的观察反馈系统，无缝地为机器人提供高质量的演示数据。它有以下三个优点:

与自监督的数据收集方法相比，HOLODEX 基于强大的模仿学习技术，可以在没有奖励机制的情况下快速训练；与 Sim2Real 方法相比，学得的策略可以直接在真实机器人上执行，因为它们是在真实数据上训练的；与其他模仿方法相比，HOLODEX 显著减少了对领域专业知识的要求，只需要人们操作 VR 设备。

论文链接:https://arxiv.org/pdf/2210.06463.pdf

项目链接:https://holo-dex.github.io/

代码:https://github.com/SridharPandian/Holo-Dex

为了评估HOLO-DEX的性能，在需要灵巧操作的六个任务上进行了实验，包括单手握持物体和拧开瓶盖。研究发现，人类教师使用HOLO-DEX的速度比之前的单图像遥操作工作快1.8倍。在4/6任务上，HOLO-DEX学习策略的成功率超过了90%。此外，研究还发现，HOLO-DEX学习到的灵巧策略可以推广到新的和未知的目标物体。

总的来说，这项研究的贡献包括:

提供了一种借助 VR 头显让人类教师在混合现实中实现高质量遥操作的方法；实验表明，HOLO-DEX 收集的演示可用于训练有效且通用的灵巧操作行为；该研究还对所提方法中的各种决策进行了分析和消融实验，以验证每一个关键设计的效用。

此外，研究收集的与HOLO-DEX相关的混合现实API、演示和训练代码均已开源:https://holo-dex.github.io/.

HOLO-DEX架构概述

如下图1所示，HOLO-DEX分两个阶段运行。在第一阶段，人类教师使用虚拟现实(VR)头显向机器人提供演示。这个阶段包括创建一个虚拟的教学世界，估计老师的手姿态，将老师的手姿态重新定位到机器人手上，最后控制机器人手。在第一阶段收集了一些演示后，第二阶段HOLO-DEX学习视觉策略来解决演示任务。

本研究采用Meta Quest 2 VR头显，将人类教师置于虚拟世界中，分辨率为1832 × 1920，刷新率为72 Hz。这款头显基础版售价399美元，比较轻，只有503克，让老师的演示操作更加轻松舒适。更重要的是，Quest 2的API接口允许创建自定义的混合现实世界，并在VR中与诊断面板一起可视化机器人系统。

利用虚拟现实头显估计手部姿态

与以前的灵巧遥操作工作相比，使用VR头显在人类教师的手姿态估计方面有三个优势。首先，因为Quest 2使用了四个单色摄像头，所以它的手势估计器比单个摄像头强大很多。其次，由于摄像机是内部标定的，它们不需要以前的多摄像机遥操作框架中所需的特殊标定过程。第三，由于手姿态估计器集成在设备中，它可以以72Hz的频率传输实时姿态。已有研究指出，灵巧遥操作的一个主要挑战是获得高精度、高频率的手部姿态。HOLO-DEX通过使用商用VR头显，显著简化了这个问题。

手部姿势重定向

接下来，从VR中提取的老师的手姿态需要重新定位到机器人手上。首先要计算出老师手各个关节的角度，然后一个直接重定向的方法就是“命令”机器人的关节改变到相应的角度。这种方法在本研究中适用于除拇指以外的所有手指，但快板机械手的形状与人类不完全匹配，拇指不能完全适用这种方法。

为了解决这个问题，本研究将老师拇指尖的空坐标映射到机器人拇指尖，然后通过逆运动学求解器计算拇指的关节角度。需要注意的是，由于快板机械手没有小指，所以本研究中忽略了老师小指的角度。

整个手势重定向过程不需要任何校准或教师特定的调整来收集演示。然而，这项研究发现，通过找到教师拇指到机器人拇指的特定映射，拇指重定向可以得到改善。整个过程的计算成本很低，可以以60 Hz的频率传输所需的机器人姿态。

手动控制

Allehand通过ROS通信框架执行异步控制。给定重定向程序计算的机器人手的关节位置，本研究使用PD控制器以300Hz输出所需的扭矩。为了减小稳态误差，采用重力补偿模块计算补偿力矩。在延迟测试中，研究发现，当VR头戴设备和机器人手在同一个局域网上时，可以实现100毫秒以内的延迟。低延迟和低错误率对于HOLO-DEX至关重要，因为它允许人类教师直观地远程操作机器人手。

当人类教师控制机器人手时，他们可以实时看到机器人的变化(60Hz)。这使得老师可以纠正机器人的执行错误。在教学过程中，研究以5Hz的频率记录了来自三台RGBD摄像机的观察数据和机器人的动作信息。由于记录多个摄像机所需的大量数据占用空和相关带宽，研究不得不降低记录频率。

使用HOLO-DEX数据的模仿学习

收集完数据后，我们就进入第二阶段，HOLO-DEX会对数据进行视觉策略的训练。在这项研究中，最近邻模仿(INN)算法用于学习。在之前的工作中，INN被证明能够在Allegro的手中生成基于状态的灵巧策略。HOLO-DEX更进一步，证明了这些视觉策略可以扩展到各种灵巧操作任务中的新物体。

为了选择低维嵌入的学习算法，本研究尝试了几种最先进的自监督学习算法，发现BYOL提供了最好的最近邻结果，因此选择BYOL作为基本的自监督学习方法。

实验结果

下表显示，HOLO-DEX收集成功演示的速度比DIME快1.8倍。对于需要精确3D运动的3/6任务，研究发现单个图像遥控操作甚至不足以收集单个演示。

本研究考察了各种模仿学习策略在灵巧任务中的表现。不同策略下每个任务的成功率如下表2所示。

由于本研究提出的策略是基于视觉的，不需要显式估计物体的状态，因此可以兼容训练中从未见过的物体。这项研究评估了它的手动操作策略，这些策略经过训练，可以在具有各种视觉外观和几何形状的对象上执行平面旋转、对象翻转和旋转任务，如下图5所示。

此外，在不同任务的不同大小的数据集上测试了HOLO-DEX的性能，可视化结果如下图所示。