IORA:低自由度耦合手在受限驱动下的不规则物体固定抓取合成
IORA 提出一种支撑面感知的抓取合成框架,面向低自由度耦合手实现不规则物体的固定。该方法把手与物体局部表面区域表示为图并搜索运动学可行的匹配,再细化腕部位姿与电机状态,并通过物理仿真 rollout 验证抓取。实验显示该方法能生成多种抓取构型并取得较高抓取成功率和抗扰动能力,真实实验在烹饪场景中演示了可物理执行的抓取。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
IORA 提出一种支撑面感知的抓取合成框架,面向低自由度耦合手实现不规则物体的固定。该方法把手与物体局部表面区域表示为图并搜索运动学可行的匹配,再细化腕部位姿与电机状态,并通过物理仿真 rollout 验证抓取。实验显示该方法能生成多种抓取构型并取得较高抓取成功率和抗扰动能力,真实实验在烹饪场景中演示了可物理执行的抓取。
论文发布 iAssistADL 三自由度上肢助动平台,面向未来日常生活活动中的震颤与共济失调补偿。该平台将所有执行器置于基座以降低运动质量并提高机械透明性,控制上在水平面采用开环力渲染、垂直方向采用闭环力控制。实验显示水平面阻力矩低于 0.1 Nm,工作空间内末端力可达约 10 N,水平力渲染在 4 Hz 内保持准确,垂直轴在高频段仍受摩擦动态限制。
ProTrav提出一种概率地形表示,用函数空间采样生成空间相关的地形实现,并将高程不确定性传播到可通行性代价。方法先用稀疏变分高斯过程(SVGP)从观测重建概率高程场,再通过后验函数空间采样保留相邻位置的空间依赖,得到任意位置可通行性代价的均值与标准差,并以基于矩的上置信界(UCB)定义风险项接入MPPI控制器。
推荐理由:论文把高程不确定性经非线性映射传播到可通行性代价,并用风险项接入MPPI控制器,可供越野导航研究比较。
论文提出 STAMP 框架,通过 Robot-to-Human-to-Robot 流程把独立采集的人形机器人动作连接成连续序列。其核心是学习到的对齐模型,在动作重定向到人体骨架后为后续动作排序候选位置、朝向和过渡时长,再由人类运动先验在选定对齐下生成过渡。作者在 Unitree G1 和 ROBOTIS K1 上评估生成过渡的跟踪成功率,并用实机演示展示 STAMP 将独立动作连成长时程序列。
推荐理由:论文提出用人类运动先验衔接独立采集的人形动作,并在 Unitree G1 与 ROBOTIS K1 上评估跟踪成功率。
论文提出ALMA空中移动操作框架,用上下文飞行策略适应机械臂外部指令,并通过LLM分析控制难点、生成新的机械臂运动结构用于后续训练。仿真中位置RMSE相对最强基线最多降低24.7%,同一策略零样本迁移到真实空中机械臂后,在周期性机械臂运动下悬停位置RMSE相对真实世界基线降低79.6%。
推荐理由:论文提出用LLM分析控制难点并生成机械臂运动结构,为空中作业的自适应飞行控制提供可迁移的训练思路。
研究提出EBV-CAN,一种结合初始全局鸟瞰图、内窥镜观测与电机状态的视觉语言策略,用于柔性内窥镜的接触辅助导航。团队构建VLCA数据集,包含517条演示、75k动作样本、958k空间条目和93k剩余路径记录;在50个留出回合中,尖端坐标与路点定位分别达到97.5%和94.8%。
推荐理由:论文给出内窥镜接触辅助导航的视觉语言策略与VLCA数据集,并对比动作模仿与任务完成两类指标。
作者提出GlobMP(Global Motion Planning),一种在分段多项式曲线上运行的梯度投影方法,将运动规划与引导统一为连续时间规划问题,使约束在运动全程而非采样点成立。
推荐理由:论文提出连续时间运动规划方法GlobMP,并给出全局收敛性分析,可用于理解学习策略与规划器之间的约束修正关系。
论文提出 CMAR-search 框架,基于常识与记忆增强推理(CMAR)构建功能化3D场景图 F3DSG,将环境组织为功能区域及其关联容器。该表示支持宏观区域与微观容器两级分层动作规划,并持续融合实时感知、累积记忆与常识,以应对物体被移动等环境变化。作者称在仿真与真实环境实验中,该方法在动态交互环境物体搜索的成功率和搜索效率上均超过现有基线。
作者提出在线锚点中心场景推理系统 OASIS,用稀疏锚点节点统一存储语义描述、视觉特征与几何状态,支持在线建图、复杂开放词汇检索和导航。系统复用导航中采集的瞬时观测,对场景变化后移动的物体重新定位,并以紧凑记忆按需提取证据、做分层检索。仿真与真实环境实验覆盖标准检索基准及静态、动态导航任务,结果显示其可完成开放词汇检索与导航并重定位位移物体。
论文提出时空重定向方法 STR,用视觉语言模型选择相关运动信号与身体部位,并据此识别关键帧,把更多求解器迭代分配给关键帧、给选定部位更高交互权重。作者还提出 Mechanics-Aware Contact Anchoring(MCA)借助近似物体力旋量模型细化物体表面接触位置,并基于所得参考轨迹构建时空强化学习 STRL,结合自适应关键阶段采样与基于目标接近度的接触位置奖励。
推荐理由:论文用视觉语言模型挑选关键帧与关键身体部位来分配重定向优化预算,并给出仿真与实机验证,可供人形机器人全身控制参考。
论文提出 FRED 框架,通过自蒸馏让世界动作模型(WAM)在单步去噪中从噪声预测未来视频表征,并以真实未来观测提取的表征作为目标,同时用历史观测提供时间上下文。作者称在多种真实操作场景中 FRED 持续优于对比的 WAM,在零样本环境泛化的长时程与域外任务上提升明显。在仅有人类视频演示、未出现在机器人训练数据中的任务上,FRED 达到 50.0% 任务成功率,对比最佳 WAM 为 19.4%。
推荐理由:论文提出用自蒸馏提升世界动作模型的未来视频表征质量,并给出实机操作与人类视频迁移的成功率对比。
作者提出 ASTEROID,一个学生-教师监督学习框架,让学生先在不完全可观测下采集在策略上下文,再由特权专家基于该上下文给出动作标签,从而学会测试时探索。在 11 个环境(含离散探索基准、机器人操作、导航和 Procgen)中,该方法在固定探索预算下回报约为对比方法的 2 倍,交互次数比强化学习基线少约 100 倍。
推荐理由:论文提出用特权专家在策略上下文上标注的蒸馏框架学习测试时探索,并在仿真与实机操作中给出对比结果。
AtomicRL 是一个面向长程机器人操作的强化学习后训练框架,通过原子任务结构做信用分配与自适应探索。它包含语义感知策略优化 SAPO 和瓶颈自适应目标探索 BATE,并配套连接仿真在线 RL 与实机部署的 Real2Sim2Real 流程。
推荐理由:论文提出面向长程操作任务的原子化强化学习后训练框架,并给出仿真基准与实机迁移的对比数据。
Osher Azulay 等人提出 RISE,一种让任务目标在推理阶段引导人形机器人起身方式的方法。该方法先学习连接预期动作与电机动作的恢复动作词表,再由视觉扩散规划器预测未来身体状态,并用任务代价把预测导向指定朝向、起身速度或路径,无需重新训练即可在测试时改变动作。仿真实验展示了多样化恢复、地形适应和测试时引导,并在宇树 G1 上给出实机演示。
推荐理由:论文提出在推理阶段用任务代价引导人形机器人跌倒后起身的动作选择,并给出仿真实验与宇树 G1 实机演示。
作者提出 SP-HLM,一个基于稀疏姿态接口的人形机器人移动操作框架,用五个任务关键身体姿态结合学习到的隐式运动先验,分别表达空间意图与全身协调。其中 SP-VLA 从多模态观测和语言指令预测稀疏姿态与手指关节位置,SP-MGM 经两阶段蒸馏实时重建全身运动,SP-GMT 再结合显式稀疏目标与隐式运动先验做全身控制。
推荐理由:论文提出以稀疏姿态作为高层策略与全身控制的接口,并给出仿真与实机验证,可供研究人形移动操作接口设计时参考。
研究提出一种主动感知框架,让高自由度移动操作臂在导航过程中用机械臂手部相机检查不确定或安全关键区域。该方法用概率化的物体与任务感知下一最佳视角(NBV)公式优先观察期望路径附近及可能变化的物体,并集成到分层任务模型预测控制(HTMPC)中,利用运动学冗余调整视角同时保持基座轨迹跟踪的更高优先级。实机测试显示,相比被动或非任务感知基线,该方法提升了地图一致性、降低了任务相关地图熵和导航风险。
研究提出一种基于样条的时空表示方法,将空间几何与时间进程纳入同一组连续变量,联合估计共享贝塞尔曲线,并可独立调整空间与时间模型复杂度。仿真实验显示该方法能准确联合恢复路径区间,并通过调整模型复杂度与连续性实现细化,对演示集方差更鲁棒。在机器人辅助患者翻身任务中,用实体假人验证了在线重定时与同步能力。
CausGround 是一个非参数化的因果交互接地框架,把交互经验提炼为以动作为中心的因果知识,用于具身规划。它识别动作前置条件与效果,并以分解式世界状态表示组织物体属性和物体间关系,规划时把任务相关因果依赖接地到当前观测,支持前置条件的反向推理与效果的正向推理。
推荐理由:论文把交互经验整理成可复用的动作前置条件与效果知识,并在仿真基准和实机操作上给出对比结果。
arXiv 论文 Watch Your Step 提出预期感知方法,用轻量落脚点预测模型(FPM)仅凭本体感知和速度指令预测未来落脚点,再只在这些落脚点周围采样高程图小块,替代完整机器人中心高程图输入。
推荐理由:论文提出用落脚点预测裁剪高程图输入,训练迭代约为完整地图的三分之一,并零样本迁移到 Unitree G1 实机。
作者提出 ContactFlowFilter,将流匹配生成模型嵌入粒子滤波框架,用于估计机械臂的接触数量、位置与力向量。该方法仅依赖关节力矩传感器和基座力/力矩传感器,以粒子滤波的递归结构处理时序依赖,用流匹配模型作为辅助提议分布跟踪多模态信念并检测接触事件。仿真与实机实验显示,实机单接触和双接触场景误差分别为 0.36 cm 和 0.88 cm,运行耗时为 0.69 ms 和 2.69 ms。
针对耦合传动机械臂遥操作中独立电机饱和破坏差动腕俯仰-滚转协调、固定映射难以应对重力负载与执行约束引起的跟踪突变,作者提出一种执行器约束感知的主从遥操作方法,联合建模主端重力补偿、主从关节映射与从端差动腕控制。
研究者提出首个能设计乐高步行机器人的计算方法,使机器人既能稳定行走,又支持多种步态。该方法用定制齿轮-连杆机构配合一对3D打印非圆齿轮机械控制足部轨迹,每条腿由独立电机驱动并通过控制算法同步时序,进而协同设计形态与控制。团队据此制作了多种乐高步行机器人,展示不同步态与外观,并实物制造部分样机验证真实环境行走能力。
论文提出 S-Rolling,一种面向可扭转蛇形机器人的可转向滚动步态,兼顾低扫掠高度与平面转向能力。该方法基于 S 形平面骨架曲线,头尾两段以独立控制的角速度滚动,由中央扭转关节实现两段相对旋转,并推导了关节空间步态方程和关联段滚动速度与机器人线速度、角速度的准静态运动学模型。
Qingling Fan 与 Zhongqiang Ren 提出一类线性扭转侧行步态,用线性扭转函数把扭转负载分布到全身,而非集中在中间两个扭转关节。在匹配转速和总输出功率的条件下,该步态使单个扭转关节的峰值输出功率降低42%。实机实验显示,新步态能在现有 rolling vector 方法无法通过的多类地形上运动,并比不带扭转的传统侧行步态快最多49%。
论文提出一种将欧氏距离场(EDF)直接纳入观测空间的强化学习框架,为智能体提供连续几何线索以支持稳定、反应式的避障行为。该方法在7自由度冗余机械臂上验证,实现了从仿真到真实硬件的零样本迁移;尽管训练仅使用随机静态物体,部署后的策略仍能泛化到此前未见的真实环境,并对动态障碍物表现出在线避障能力。作者认为,EDF表示有助于缓解仿真到现实的差距。
推荐理由:论文把欧氏距离场直接放进观测空间,在7自由度冗余机械臂上验证仿真到实机的零样本迁移,可供做避障策略的研究者参考。
A2I-Calib++ 提出一种运动学驱动的抗噪主动标定框架,用于足式机器人机体多IMU系统,可在无需人工标定靶标、无需对目标IMU做复杂参数调优的情况下估计时间偏移、外参旋转平移与惯性零偏。
PRISM 提出一种基于物理的深度噪声建模框架,将单一噪声解耦为传感失效与测量不准两类模态,并借助 3D 视觉基础模型特征做空间语义先验推理。作者称其在噪声深度合成基准上达到当前最优保真度,下游机器人实验在真实世界取得 92.1% 平均成功率,优于单一噪声建模基线。项目页面见 https://shawnleung-sii.github.io/prism-icml2026/。
推荐理由:论文把深度噪声拆成传感失效与测量不准两类物理机制,为仿真到现实的感知建模提供了一种可迁移思路。
该论文提出一种针对负载参数泛化前馈控制动作的方法,且不依赖底层控制器。作者先推导负载泛化所需的最少示例物体数量,再给出仅凭新负载参数即可执行同一轨迹的算法,无需已知机器人动力学模型,也适用于存在弹性关节的情形。方法在仿真和实验中验证,实验使用标准 Franka Emika Panda 以及加装弹性腕的 Franka Emika Panda,覆盖不同机器人与控制器的跟踪任务。
论文提出关系几何强制(RGF),通过对齐成对特征关系而非逐点特征,把冻结3D基础模型的几何先验迁移到世界动作模型(WAM)。作者发现逐点几何对齐虽改善视频特征却会损害动作学习,RGF 用帧内、跨视角和动作-时序三类关系目标,且仅在训练阶段使用,不增加几何分支或推理模块。仿真与实机实验显示,该方法在多种操作场景和 WAM 范式下取得一致提升。
推荐理由:论文指出逐点几何对齐会损害动作学习,提出用成对特征关系迁移3D先验,并在仿真与实机中验证。
作者提出 TIDE(Training In DEployment),一个面向机器人操作的人在环在线后训练系统,可在部署过程中利用人工干预和策略自身 rollout 在线更新策略,无需学习 critic、奖励模型或动作评分器。
推荐理由:论文提出无需价值函数或奖励模型的在线后训练系统,并在四项真实双臂操作任务上对比热启动策略与离线演示。
Yiqing Yuan等人提出ACT-—Flow,将自适应Action Chunking Transformer与条件残差流策略耦合,用于视觉插接任务的在线学习。
推荐理由:论文给出ACT-—Flow在插接类任务上的在线学习框架与消融结果,可比较残差策略与行为克隆的组合方式。
RoPT 是一个面向视频的鲁棒 6DoF 物体位姿跟踪框架,作者称其把视觉感知、时序运动学与全局重定位耦合成闭环,以应对快速运动下的跟踪发散。视觉部分通过跟踪物体掩码处理部分和严重遮挡,运动学因子图则约束帧间更新、预测前向位姿并驱动多假设并行验证以避开局部极小。作者在多个挑战性基准和真实机器人演示中报告,快速运动下的跟踪存活率显著更高。
推荐理由:论文把视觉感知、时序运动学与全局重定位耦合成闭环,用于应对快速运动下的位姿跟踪发散,可供机器人交互感知研究参考。
SLoSa 是一个神经符号压缩与微调框架,用于训练小尺寸、低功耗且具备安全意识的机器人任务规划基础模型。该框架先用经典规划器、教师大模型和形式化验证器构建安全数据集,再经监督微调与由验证奖励机引导的强化学习微调。
推荐理由:论文给出小尺寸规划模型在 PDDL 任务、家用仿真与桌面机械臂上的成功率与功耗数据,可对照大模型本地部署的资源约束。
Yash Rampuria 等作者提出开源 GPU 加速图库 GGraph,同时支持真实机器人部署和大规模策略训练。GGraph 通过 ROS 2 接口接入真实机器人,并支持向量化 GPU 策略训练,内置 3-D 导航、探索和回环整合等任务。单机器人运行时图更新为毫秒级,规模化训练可跨数百个并行机器人,训练实际耗时降低一个数量级;结果来自仿真与真实世界实验。
推荐理由:GGraph 把图构建放到 GPU 上,并同时覆盖 ROS 2 部署与并行训练,为图表示机器人策略提供可复用基础设施。
HyperDrone 是一个面向高性能批量渲染的四旋翼仿真器,作者称其速度超过现有先进批量四旋翼仿真器 20 倍以上。它结合优化的多旋翼动力学与光线追踪引擎 HyperLux,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,可渲染 RGB、深度、语义/实例分割、表面法线和光流,并在消费级 GPU 上达到数百万帧每秒。
推荐理由:论文给出比现有批量四旋翼仿真器快 20 倍以上的渲染方案,并把纯仿真训练的偏航控制策略迁移到 Crazyflie 实机。
MIT 等机构作者提出 Flexible Feature Editing Pipeline(FLEX),用语言模型根据自然语言纠正迭代编辑机器人内部任务特征表征,包含添加缺失特征、泛化已有具体特征、屏蔽无关特征三种操作。
推荐理由:论文提出用语言模型迭代增删与泛化任务特征的表征编辑流程,并在导航、Franka 操作与真人语言纠正实验中比较不同编辑方式。
Real2Sem2Real(R2Sem2R)提出从真实到语义再到真实的流程,把一段单目人类演示RGB视频转成同一类别多个语义物体实例上的数千条机器人演示。
推荐理由:论文用单段人类RGB视频生成跨语义实例的机器人演示,并在两台实机四类任务上与遥操作数据训练的VLA策略对比。
T-WLA 提出一种世界-语言-动作架构,用共享视觉记忆同时指导动作生成与触觉修正。每次视觉更新时,视觉分支把当前图像、任务指令和检索到的历史整合为视觉记忆,用于生成基础动作;同一记忆被缓存给轻量触觉编辑器,结合当前动作块与触觉输入预测未执行动作的残差修正,无需重跑视觉分支。
推荐理由:论文提出用共享视觉记忆驱动轻量触觉修正器,避免视觉策略重算带来的延迟,可供接触密集操作研究比较。
Nuo Chen 与 Ya-Jun Pan 提出一套人机交互框架,用元学习训练的神经网络识别人处于主动引导还是被动跟随状态,不再依赖预设切换阈值。作者称把控制器中与力相关的参数纳入识别后,被动模式识别率从 90.1% 提升到 99.1%,主动模式从 79.8% 提升到 97.1%。
PhysCanvas 是一个面向接触密集机器人操作的视觉触觉世界模型,将多视角 RGB、触觉图像、标记位移、任务状态与动作统一到同一视觉空间,并共享视频 VAE 与预训练生成骨干。
推荐理由:论文把视觉与触觉统一进世界模型,并给出世界模型成功率与真实任务的相关性数据,可用于比较策略评估方案。