NVIDIA 等提出 Joints, Camera, Action!:为任意骨架联合生成 3D 运动与视频
NVIDIA 等机构的研究者提出 Joints, Camera, Action! 模型,可为任意给定骨架同时生成视频与可重放的 3D 运动,并估计相机把运动配准到场景。
推荐理由:论文提出将3D运动与视频生成分离建模,支持任意骨架并恢复相机位姿,为机器人视频数据转可重放运动提供思路。
公司与机构
追踪该机构的具身智能研究、产品与产业进展
7 条精选近 30 天 5 条共收录 10 条
NVIDIA 等机构的研究者提出 Joints, Camera, Action! 模型,可为任意给定骨架同时生成视频与可重放的 3D 运动,并估计相机把运动配准到场景。
推荐理由:论文提出将3D运动与视频生成分离建模,支持任意骨架并恢复相机位姿,为机器人视频数据转可重放运动提供思路。
IndustrialRemembr 提出面向机器人车队的共享时空记忆系统,扩展 NVIDIA ReMEmbR,仅在需要时生成场景描述以降低服务端计算。每台机器人用 NVIDIA Jetson 将视频片段编码为检索嵌入、视觉 token 和重建潜变量,不上传原始相机画面。
推荐理由:论文给出机器人车队共享时空记忆的端侧编码与按需解码方案,并报告缓存 token 解码与未拆分模型输出一致。
研究在 Idealworks 的 iw.hub 实机上评测 NVIDIA X-Mobility 与 COMPASS 导航策略训练流程,并用 NVIDIA Cosmos 生成仿真到现实变体。
推荐理由:在 Idealworks 实机上对比数字孪生与 Cosmos 增强训练,给出成功率与耗时差距,可作为 sim-to-real 评测参考。
作者在 Jetson AGX Orin 上对九类深度估计模型做了基准测试,覆盖单目 Depth Anything V2/V3、Depth Pro、MoGe-2、Metric3D v2、UniDepth V2 与立体方法 libSGM、NVIDIA ESS、Fast-FoundationStereo,按 Middlebury 2014 真值评估度量精度、GPU 时间、能耗和许可。
推荐理由:在 Jetson AGX Orin 上统一比较九类深度估计模型的精度、速度、能耗与许可,为机器人感知选型提供可复现依据。
PhysWord 是一个先推理后动作的机器人基础模型,用原子动作动词作为共享语义锚点,把物理动态的连续表示组织成可复用的推理原语。模型预测未来原子动作词,并将其上下文隐状态与对应未来观测导出的潜在目标对齐,再按时间自回归预测 Physical Words 以捕捉执行阶段转换。
推荐理由:论文提出以原子动作动词为语义锚点的推理先验框架,并给出仿真基准与实机操作的成功率对比。

NVIDIA 在加拿大多伦多 ROSCon 上发布 Isaac ROS 5.0,这是一组基于 ROS 的 GPU 加速软件包,新增智能体工作流与平台支持。该版本支持 ROS Lyrical 和 Ubuntu 24.04,并提供面向 AI 智能体的 Isaac 技能与文档,其中 FoundationPose 的智能体推理库称可将物体位姿感知与跟踪速度提升至多 5.5 倍。
推荐理由:Isaac ROS 5.0 把智能体工作流和 ROS Lyrical 支持纳入开源包,并列出多家厂商的集成用法,可用于了解机器人开发工具链的当前形态。
NVIDIA 发布 Cosmos-H-Dreams,一个面向手术机器人的实时、动作条件生成式模拟器,将 Cosmos-H-Surgical-Simulator 蒸馏为因果少步学生模型,并通过 FlashDreams 推理库在单张 NVIDIA RTX PRO 6000 上运行。
推荐理由:NVIDIA 把手术世界模型蒸馏成实时闭环模拟器,给出从约10帧到约160帧的推理提速路径。