GR00T-Teleop – 英伟达发布通过 Apple Vision Pro 捕捉人类动作的技术
2025-03-31 10:23:36 小编:六六导航站
GR00T-Teleop是什么
GR00T-Teleop是NVIDIA Isaac GR00T的一部分,用在捕获远程操作数据的关键技术。基于NVIDIA CloudXR连接Apple Vision Pro头显,用专门设计的人形远程操作自定义CloudXR运行时,将手部跟踪数据流式传输到模拟平台,如Isaac Lab,将机器人环境的沉浸式视图流式传输回设备。这种设置实现了对机器人的直观交互式控制,便于收集高质量的远程操作数据,为后续的合成轨迹生成和机器人训练提供基础。

GR00T-Teleop的主要功能
连接设备:基于NVIDIA CloudXR技术连接Apple Vision Pro等高保真头显设备,实现与模拟环境的实时交互。数据流传输:将设备捕获的手部跟踪数据流式传输到模拟平台(如Isaac Lab),将机器人环境的沉浸式视图流式传输回设备,确保操作者能实时看到机器人视角下的场景。远程操作控制:基于设备的输入,如手部动作,实现对机器人的直观、交互式控制,让操作者远程操控机器人执行各种任务。数据收集:在遥操作过程中,记录和收集高质量的遥操作数据,包括手部动作、机器人运动轨迹等,为后续的合成轨迹生成和机器人学习提供基础数据支持。GR00T-Teleop的技术原理
NVIDIA CloudXR技术:基于CloudXR实现设备与模拟平台之间的低延迟、高带宽的数据传输。CloudXR将计算任务卸载到云端或边缘服务器,让设备能处理更复杂的场景和数据流,同时保持流畅的用户体验。手部跟踪技术:用头显设备内置的手部跟踪传感器(如光学传感器、红外传感器等),实时捕捉操作者的手部动作和姿势,精确识别手部的三维位置、旋转角度和手指的弯曲程度等信息,将手部动作映射到机器人模型上。模拟平台集成:与Isaac Lab等模拟平台紧密集成,将手部跟踪数据实时输入到模拟环境中,驱动机器人模型的运动。模拟平台运用物理引擎和运动学算法,计算机器人各关节的运动轨迹和姿态变化,生成与操作者手部动作相对应的机器人运动,并将环境视图渲染出来。GR00T-Teleop的项目地址
项目官网:https://developer.nvidia.com/blog/GR00T-Teleop的应用场景
机器人训练:收集人类操作数据,训练机器人模仿人类动作,提高其自主性和适应性。复杂任务执行:辅助机器人完成需要精细操作的任务,如医疗手术辅助、精密制造等。危险环境操作:在危险环境中远程操控机器人执行任务,如核辐射环境、深海或太空探索等。远程协作与教学:实现专家与操作者的实时互动,用在远程设备维修指导或机器人教学演示。仿真训练:结合虚拟现实技术,训练操作者在虚拟环境中操控机器人,如军事训练中的虚拟战场任务。- 猜你喜欢
-
MusicTGA-HR提示指令
-
RappingAI提示指令
-
Boomy提示指令
-
TwoShot提示指令
-
Weet提示指令
-
Muzaic Studio提示指令
-
-
HookGen提示指令
-
DadaBots提示指令
- 相关AI应用
-
Playlistable提示指令
-
Riffusion提示指令
-
WZRD提示指令
-
-
Cyanite.ai提示指令
-
Piano Genie提示指令
-
Synthesizer V提示指令
-
Cosonify提示指令
-
Musico提示指令
- 推荐AI教程资讯
- GR00T-Teleop – 英伟达发布通过 Apple Vision Pro 捕捉人类动作的技术
- ChatGPT造孽!中国高校因它算力荒
- MiniRAG – 港大推出高效部署小语言模型的新型 RAG 系统
- Riona-AI-Agent – AI社交工具,可在社交媒体平台自动化交互点赞评论
- 争建AI算力中心热潮背后:谁在花冤枉钱?
- Prometheus – 浙大联合蚂蚁等高校推出的3D感知潜在扩散模型
- MinMo – 阿里通义实验室推出的多模态语音交互大模型
- ResNet孙剑何恺明等加冕未来科学大奖!旷视张祥雨成最年轻获奖人
- MiniMax-01 – MiniMax开源的全新系列模型
- 讯飞星火 X1 – 科大讯飞推出的深度推理模型
- 精选推荐
-
元典智库2024-12-31法律助手
-
Piano Genie2025-02-27提示指令
-
Ezdubs.ai2025-02-18提示指令
-
文心一言2025-01-29提示指令
-
Superflow Rewrite2025-02-18法律助手
-
WisdomAI by Searchie2025-01-29法律助手