DexSuite 发布开源灵巧操作仿真框架,覆盖 30 个任务与 100 多种单臂机器人
DexSuite 是一个基于 Genesis 模拟器的开源一体化灵巧操作仿真框架,提供 30 个任务,并把 10 种机械臂与 12 种末端执行器(从平行夹爪到灵巧手)组合成 100 多种单臂机器人和数千种双臂组合。
推荐理由:该框架把机械臂、末端执行器、任务、遥操作与触觉仿真整合进同一套开源环境,并给出基准与示范数据集。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
DexSuite 是一个基于 Genesis 模拟器的开源一体化灵巧操作仿真框架,提供 30 个任务,并把 10 种机械臂与 12 种末端执行器(从平行夹爪到灵巧手)组合成 100 多种单臂机器人和数千种双臂组合。
推荐理由:该框架把机械臂、末端执行器、任务、遥操作与触觉仿真整合进同一套开源环境,并给出基准与示范数据集。
研究提出一种注视辅助监督控制框架,由注视提名岩石或放置目标、显式确认授权动作,机器人执行有界自主抓取与放置。在16名参与者、2×2×3被试内设计的任务模拟VR实验中,该框架相比手动摇杆遥操作把每块岩石平均任务完成时间从47.65秒降至18.43秒,其中72.5%的差异来自抓取阶段。
Qiyang Li、Sergey Levine 等提出 Data Inoculation(DI),一种共享控制数据采集框架:人类提供闭环遥操作指令,残差策略在线训练并扰动这些指令,使机器人接触更广的状态范围,人类的持续纠正则提供恢复演示。作者称在三个真实机器人任务上,DI 的成功率持续优于或持平行为克隆与离线 RL 训练的策略。论文为预印本,未给出任务细节与成功率分母。
推荐理由:论文提出共享控制的数据采集框架,用残差策略扰动遥操作指令,为机器人演示数据的覆盖问题提供可迁移方法。

普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学、NVIDIA 与智元机器人联合推出 WorldOracle,用同一初始观测和同一动作序列把动作条件世界模型的预测与真实执行逐帧对照评分。
推荐理由:WorldOracle 用同一初始帧与动作序列对照真实执行,给出七款世界模型的分解评分与长时程退化数据。

北京人形机器人创新中心的天工机器人在 iRTE2026 实时智能大会声网展台亮相,并接入声网实时互动能力推进远程操控方案落地。声网 RTM 控制信令延迟低至 100ms,70% 丢包下仍近乎 100% 到达;RTC 端到端延迟稳定低于 200ms。该能力面向家庭巡航与商用巡检等场景的跨区域远程接管。
研究者提出一种标准化机器人模块,将磁吸对接接口与两个驱动关节结合,可从平面二维构型折叠为三维结构,并组装成三模块“trilobite”和五模块“seal”两种形态。
TEAR 是一个可在机器人端部署的框架,在人类遥操作与本地自主之间分配控制权,依据网络状态证据和任务语义证据决定何时切换。作者称在动态网络条件下的仿真与实机试验中,TEAR 的任务成功率接近纯遥操作,同时把遥操作限制在 19.8%–27.4% 的控制步数内,在其设置下比纯自主执行的成功率提升 30%–40%。
推荐理由:论文把遥操作与本地自主的切换建模为控制权路由问题,并给出仿真与实机试验中的成功率与遥操作占比数据。
作者提出 PATH-Net,一种偏好感知的分层可通行性估计网络,可为越野遥操作自适应生成偏好条件下的可通行性代价地图与速度曲线。该方法融合视觉与几何鸟瞰特征及短期历史车辆状态,用最大熵逆强化学习和稀疏速度监督推断代价地图并优化速度建议,再通过非对称特征聚合把操作员偏好拆入代价分支与速度分支。
HuMiT 提出一种人形机器人全身遥操作方案,其统一跟踪策略只需当前帧的根高度、根速度与四个稀疏关键点的 SE(3) 位姿作为紧凑参考,无需完整关节位置、密集身体变换或未来帧。作者报告头显流式传输到策略输出的通信至推理时延约 20 ms,基于视频的光流时延中位数为 65 ms。系统在 Unitree G1 人形机器人上验证,展示了接住抛来球体等快速反应和协调的移动操作能力。
推荐理由:论文给出仅需稀疏关键点参考的全身遥操作策略,并报告头显到策略输出的时延数据,可供比较遥操作管线设计。
针对耦合传动机械臂遥操作中独立电机饱和破坏差动腕俯仰-滚转协调、固定映射难以应对重力负载与执行约束引起的跟踪突变,作者提出一种执行器约束感知的主从遥操作方法,联合建模主端重力补偿、主从关节映射与从端差动腕控制。
研究提出耦合视觉-运动重映射方法,将全景方位扭曲与上肢偏航逆变换配对,用于第一人称人形机器人遥操作,并实现Global Zoom(GZ)与Focus+Context(F+C)原型。在N=8的被试内研究中完成72次试验,GZ完成数最高(23/24;Fixed为20/24,F+C为21/24),但6/8参与者更偏好F+C,该样本中完成率与偏好指向不同映射。
LocoPilot 是一个单操作员双边遥操作与数据采集框架,部署在 12 自由度 Unitree Go2 四足机器人上,该机器人搭载 6 自由度 AgileX Piper L 机械臂、Intel RealSense D435 腕部相机和 D405 头部相机。
推荐理由:论文给出单操作员双边遥操作采集四足加机械臂演示的完整方案,并展示从采集到策略部署的同一动作接口。
研究提出遥操作界面PointHand,将多指机器人手渲染为指尖与关节的稀疏关键点,并在仿真杯子入盒任务中比较三种渲染方式。18名新手与4名专家共采集2200次试验,看到拇指与食指被强调的新手在600次试验中获得441次成功演示,而看到真实手形的新手为320次。
论文提出运动学信息年龄 K-AoI,用瞬时笛卡尔速度对 AoI 加权,把时间陈旧度换算为空间偏差,用于数字孪生遥操作的同步评估。作者在由 6-DOF 机械臂、Unity 孪生体和 tc netem 网络损伤构成的测试台上,跨七种网络条件评估,发现 K-AoI 与 AoI 的秩相关在所有网络下不超过 ρ=0.65,卫星连接下降至 ρ=0.22。
作者提出HS-MoDP,通过共享专家池上的独立语义路由,把分别演示的手臂技能组合起来,在Unitree G1上取得比基线更强的技能组合效果。为采集全身接触操作演示,团队开发了同构外骨骼G1Exo,对机械臂构型提供关节级直接控制。
推荐理由:论文提出用同构外骨骼采集接触操作演示,并比较其与VR-IK遥操作对策略学习的影响,可供研究遥操作数据质量的人参考。
AQUAACT 是作者称为首个公开的语言标注水下数据集,将相机图像与人类摇杆指令配对,包含 1.9 小时真实演示和 17.9 小时仿真演示,并附车辆惯性测量数据。实验显示仿真演示可迁移到真实数据,并大幅减少策略所需的真实演示量。在仿真中对七种策略(从模仿学习基线到 VLA 模型)的闭环基准测试显示,没有策略完成超过五分之一的回合,陆上数据预训练也未让大型 VLA 模型优于从头训练的小策略。
推荐理由:论文公开了带语言标注的水下遥操作数据集,并用七种策略的闭环基准说明水下自主任务仍未解决。
论文提出一种共享自主仲裁策略,利用多模态意图推断所得信念分布的熵动态调整自主等级。人类意图用动态贝叶斯网络建模,依据遥操作中操作者实时注视数据和机械臂运动更新目标信念,再将人类输入与自主控制的融合表述为模型预测控制问题,实现从直接遥操作到完全自主的连续过渡。
推荐理由:论文用眼动与机械臂运动推断操作意图,并据此在遥操作与自主控制间连续调节权限,可与既有共享自主方法对照。
研究提出一套基于混合现实头显的可扩展半自主机器人遥操作系统,用于在机器人上采集示范数据。系统自主执行大部分任务轨迹,操作员只在关键阶段做微调,以减少大规模数据采集中的操作负担。作者在高精度精细双臂销孔装配任务上采集数据并训练模仿学习策略,称以更低的数据采集投入获得可用于训练全自主执行策略的高质量示范。

星海图 LEMO 双臂开发平台正式开售,首发定价 49,999 元。平台集成双 A1Z 七自由度机械臂、G1Z 夹爪、多视角同步视觉系统与 CCU 控制器,支持同构主从遥操作、VR 接管和三路视觉同步采集。官方同时提供 SDK、URDF、3D 模型及开放接口,覆盖数据采集、模型训练到真机部署验证。