多视角潜动作预训练提升跨本体机器人学习
作者提出一种多视角潜动作模型(LAM),用交叉注意力融合同步多相机视角以消解深度与遮挡,再压缩为潜动作,并接入由潜专家与动作专家经顺序流匹配耦合、冻结VLM骨干的策略。
推荐理由:论文比较多视角与单视角潜动作预训练在6D动作可解码性和跨本体迁移上的差异,并给出实机验证。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
作者提出一种多视角潜动作模型(LAM),用交叉注意力融合同步多相机视角以消解深度与遮挡,再压缩为潜动作,并接入由潜专家与动作专家经顺序流匹配耦合、冻结VLM骨干的策略。
推荐理由:论文比较多视角与单视角潜动作预训练在6D动作可解码性和跨本体迁移上的差异,并给出实机验证。
研究团队提出 RoboJudge-Bench,用于评测多模态大模型对具身视频生成的判断能力,覆盖物理遵循与指令对齐两个维度,包含来自 8 个源语料、10 个视频生成器的 800 段人工标注视频,涉及夹爪、人手和灵巧手。
推荐理由:该预印本系统评测了多模态大模型作为具身视频生成评判者的表现,并给出可复用的训练数据与微调方案。
作者提出 AWLS,一种针对冻结的单步生成式机器人操作策略的离线后训练方法,在不更新解码器的情况下学习观测条件化的潜噪声残差修正。该方法以优势加权动作重建目标训练该残差噪声整形器,优势值经分离和尺度归一化后仅作为示教动作的监督权重,避免使用 critic 梯度更新策略并保留单步推理。
研究提出分层框架RLTrajGen-PPMPC-CBF,用预设性能约束(PPC)调节强化学习规划与MPC控制之间的耦合,并以控制屏障函数(CBF)层提供实时安全修正并反馈至RL过程。在MetaDrive仿真环境中,该方法相比最优基线平均成功率提升6.25%,运动病剂量值(MSDV)降低65.87%,同时加快训练收敛。
研究在单一经审计的 HighwayEnv 测试台(1Hz,决定性对比使用 gpt-4o-mini)上受控评测经验记忆对闭环 LLM 驾驶智能体的作用,将热启动池视为重采样随机因子(十个不相交池)并加入 token 匹配的无关填充对照。
推荐理由:在单一 HighwayEnv 测试台上用重采样热启动池与 token 匹配对照,检验经验记忆对闭环 LLM 驾驶智能体的增益是否稳健。
PanoGraphGS 提出一个统一框架,将全景3D高斯表示学习与分层3D场景图构建结合,在共享高斯几何上学习语义与实例特征。其语义感知场景图模块可恢复楼层-房间-物品-物体的层级及包含与空间关系,并支持新视角全景分割与高斯级全景解码。
推荐理由:论文把全景分割与分层3D场景图统一到高斯表示中,并给出与Replica、NaviGS的对比结果,可供场景图构建方法参考。
论文提出以自适应通行管道(ATT)、区间速度-航向(IVH)控制和侧步增强AMP运动先验为核心的双足人形机器人姿态感知导航框架,将几何间隙与社会舒适度统一为沿参考路径的连续宽度信号,并映射为正面到侧步的姿态调度与全向速度指令。
CovNav 是一个免训练框架,用共形预测把双过程推理变成不确定性感知决策:本地 LLM 快速判断目标是否在观测物体附近,仅将模糊查询升级到慢速思维链推理。在 Gibson 和 HM3D 上,CovNav 在 HM3D v1 和 v2 的成功率分别比最强零样本基线高 0.8 和 1.7 个百分点,仅对 12.4% 的查询调用慢推理,并保留大部分始终开启思考的收益。
PLaCA 提出一种以未来潜变量变化为核心的世界到动作框架,直接从当前多模态输入预测空间结构化的 patch 级未来潜变量变化,并引入 patch 级变化感知监督和未来到动作接口。在 LIBERO-Long 上成功率为 79.0%,比仅动作基线提升 5.0 个百分点;在 CALVIN 上平均序列长度从 2.784 提升到 3.564。第二阶段训练仅更新 2.95% 的模型参数。
针对最小转弯半径r的Reeds-Shepp追捕者,研究全向逃逸者从其前向锥形视野中逃逸的最短时间问题。在速度比ν与锥半角满足sinα<ν≤1的慢速或等速情形下,用Isaacs特征线构造解并以反馈形式验证,逃逸时间为一个标量方程的首个根。采样保持反控制表明该逃逸时间在除角点外的各状态均为非预期策略下的博弈值,角点处追捕者策略值为无穷。
Yosub Shin 等人提出用单个头戴相机(122 美元)替代腕部相机和位姿追踪器,通过读取无电子手套(22 美元)上的印刷标记与工作区纸片,从同一帧中解出 6-DoF 夹爪位姿和夹爪开度。
推荐理由:论文用单个头戴相机替代腕部相机与位姿追踪器,给出无电子手套的标注精度和策略成功率对比,可供数据采集方案选型参考。
JARVIS 是一个无需额外语言指令、由视觉说明书引导自主装配的方法无关基准,包含 8,987 个场景中的 236,679 个 LEGO 装配任务,并从中整理出 50 个任务的 JARVIS-v1 套件用于交互式机器人评测。
推荐理由:该预印本提出视觉说明书引导装配的基准与智能体方法,并给出九款模型在长程任务上的表现差异。
EchoNav提出一种从短RGB序列预测证据式鸟瞰图(BEV)表示的视觉导航框架,结合时序聚合与占据补全,在最新自车坐标系下生成局部地图,无需深度或相机位姿输入,也不做显式几何变换。
推荐理由:论文给出基于历史观测的证据式BEV补全方法,并在仿真与轮式机器人上对比基线成功率。
Yubang Wang 等提出 Tactile-ETA,将触觉经验以上下文学习方式注入具身任务智能体,在不更新模型参数的情况下完成精细操作。系统把专家演示中的机器人运动与相机视图、双侧触觉观测配对,保留运动起止触觉图像并在触觉变化明显时加入两个相邻时间点。
推荐理由:论文给出触觉经验通过上下文学习进入具身任务智能体的方法,并对比仿真与实机成功率变化,可供触觉操作研究参考。
研究团队在 arXiv 发布 ThERMO,一种基于实时热成像的闭环速度优化算法,用于 UR10e 机械臂 ASTR 系统上的自主电外科手术。在离体猪组织实验中,ThERMO 相比两种固定速度方法将热损伤降低最多 52%、切割精度提升最多 59%,并保持任务完成速度,且无需数据驱动训练或迭代调参。组织学分析用于检测细胞层面的热损伤范围,3D 摄影测量用于验证切缘精度。
推荐理由:论文给出闭环热成像调速在离体猪组织上的对照结果,可用于比较自主电外科的闭环控制与固定速度方案。
SynCalib 提出一种面向 LiDAR-相机标定网络训练的数据生成框架,通过外参可控的合成数据缓解训练数据外参多样性不足带来的数据集捷径问题。该框架利用带深度真值的全向图像数据集,在严格外参约束下合成多模态标定数据。
OmniVLoc 是面向全景相机的环绕视觉定位系统,基于拓扑度量框架,结合全局场景识别与单目深度估计,通过求解尺度感知位姿图并进行球面光束法平差恢复查询帧的度量级位姿。系统还设计了分层校验机制,在不同阶段过滤错误输出以提升鲁棒性。作者称在公开数据集和自建数据集上的实验验证了其精度与可靠性,源码和数据集将在论文发表后公开。
研究比较了10种确定性方法和2种基于LLM的变体,涵盖规则、相似度、需求导向、模糊与语义方法,评估异构多机器人任务分配中机器人-任务适配性的打分、排序、可行性与最优机器人选择。在相同场景下各方法常给出不一致结果,通用相似度指标可能违背单侧需求满足解释下的预期性质,LLM打分还引入随机性与语言敏感性。结果表明适配性应作为显式建模选择,在分配前考量其假设、鲁棒性与决策后果。
研究在真实人机社交交互基准SHREC上评估Gemini Robotics-ER,并与已发表的通用VLM基线比较。Robotics-ER在错误与能力检测上优于GPT-4o-mini,但在详细社交属性判断上表现更差;增加一帧视觉信息对其中一项任务有帮助,对另一项则有损害。
Shiza Charania 提出 HATCH 机器人操作基准,以传感器确认任务完成并解锁下一任务,把房间串成一条长程评测链。任务覆盖五类技能、三个难度等级,物体摆放由运行日种子随机化,评分与机器人本体无关。参赛者需提交未剪辑视频、传感器日志和种子作为自证运行,任务规范、搭建指南、物料清单与评分细则以开放许可发布。
论文提出一套用加装机械臂的Boston Dynamics Spot四足机器人自主堆叠砖块的概念验证系统,在供料区与装配区之间依靠AprilTag定位和autowalk任务导航。
研究提出扰动感知的Koopman控制族(DA-KCF)框架,在部署时保持离线辨识的标称模型固定,仅用轻量残差集成从因果状态-指令-状态转移中在线学习低维扰动修正,并接入MPC沿预测时域评估修正量。
论文提出 Action Influence Maximization(AIM)算法,主动采集训练数据以提升数据集的动作影响力,从而改善动作条件世界模型对指令的响应。
推荐理由:论文把动作条件视频模型忽略指令归因于训练数据的动作影响力上限,并给出主动采数据的改进方法,可用于理解世界模型可控性。
Arnav Grover 的预印本论文指出,GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行三项危险常识明确的家庭任务时,15 次试验中拒答率为 0%,每次都尝试了危险动作,并在 27% 的试验中完成了危险动作。
推荐理由:研究用15次试验对比机器人控制循环中的拒答与执行差异,并给出可选的运行时安全检查方案。
一项人体志愿者研究使用6自由度Stewart平台机器人表征头颈系统的生物运动学工作空间,为精准头部稳定中的人机交互建立基础数据。该研究面向集成实时光学运动跟踪的6自由度机器人头部固定器,旨在无需物理约束即可动态补偿头部运动,替代刚性立体定向框架和热塑面罩等侵入性方法。
作者设计并运行了一种多模态四足飞行机器人,用控制收缩度量(CCM)构建统一控制框架。研究离线分别搜索行走与飞行的域特定收缩度量,再通过在线基于能量的CLF QP统一,实现跨域控制分配,并在仿真中展示。实验验证了硬件的机械可行性和推进器辅助小跑范式,作者称实验稳定性支持将该框架部署到多模态操作。
RadGeoLoc 提出用学习观测模型将旋转雷达测量对齐到卫星影像,实现不依赖 GNSS 的定位。方法用雷达里程计传播粒子滤波生成候选位姿,再由观测模型给出似然;雷达表征经掩码重建预训练。作者在覆盖城市与越野的 8 个数据集、31 条路线上评估,并利用同一路线 13 个月的重复穿越考察天气变化下的鲁棒性。
推荐理由:论文给出旋转雷达对卫星影像定位的粒子滤波方案,并在31条路线和13个月重复穿越中检验天气鲁棒性。
论文研究视觉语言动作(VLA)模型的失败归因问题,即判断去除某个视觉损坏是否会让当前回合受益,而非仅检测损坏是否存在。作者提出因子化风险模型,分别学习场景与损坏的表示,从当前图像和任务指令出发通过潜在干预估计去除收益,无需配对干净图像或额外反事实 rollout。
Abolfazl Babanazari 与 Kaveh Fathian 在 arXiv 预印本中从理论上研究点云配准中最大团与最大一致两种表述的关系,证明最大团在任意固定正容差下可具有任意大的对齐误差,且可比最大一致集任意大。
XoNav 提出一种四执行器髋部外骨骼,在髋关节处直接呈现前进、两级制动和两级转向的触觉提示。基于双侧 LSTM 的步态分类器用两个大腿 IMU 识别步态,对未见用户召回率为 95.2-97.9%,站立时抑制提示。在三条路径的蒙眼 Wizard-of-Oz 导航试验中,参与者行走距离的 98.8% 保持在 0.75 米宽通道内,每次试验平均前进速度提升 4.9%。
EmbodyHOI 在冻结的流匹配手物交互轨迹生成器采样循环中嵌入针对特定人形本体的可微逆运动学求解器,把本体可达性约束加入生成过程。在 ARCTIC 轨迹上,该方法把 Unitree G1 与 H1-2 的重定向腕部误差从 8.9 cm 降到 0.6 cm,同时保持文本到手物交互的生成质量。
推荐理由:论文把机器人可达性约束放进 HOI 轨迹生成采样过程,并给出 G1 与 H1-2 的实机前仿真对比数据。
作者在 Jetson AGX Orin 上对九类深度估计模型做了基准测试,覆盖单目 Depth Anything V2/V3、Depth Pro、MoGe-2、Metric3D v2、UniDepth V2 与立体方法 libSGM、NVIDIA ESS、Fast-FoundationStereo,按 Middlebury 2014 真值评估度量精度、GPU 时间、能耗和许可。
推荐理由:在 Jetson AGX Orin 上统一比较九类深度估计模型的精度、速度、能耗与许可,为机器人感知选型提供可复现依据。
论文提出一种可直接替换的分数去相关辅助损失,用于训练组合式扩散策略中的组件专门化。作者指出,现有训练目标不鼓励因子专门化,常使去噪器不可解释、组合预测退化为相同副本的平均;新方法直接惩罚组件噪声预测之间的重叠,架构改动和计算开销都很小。作者称在多个基准上,该损失持续减少组件间可测量的重复计数、改善任务分解,并在不损害多任务性能的情况下产生行为上有意义的专门化。
研究提出一种让配备摄像头的半自主机器人识别Shoebox Tasks任务目标并规划动作的方法,该系统用基于视觉的大语言模型将任务照片转换为PDDL表示并生成动作计划。Nao机器人可自主执行多种Shoebox Tasks,并通过动作演示、语音指令或手势提示下一步或报告检测到的失败。求解器仅以拍摄图像为输入,经适配的机器人接口可集成到多种教育机器人中,教师无需编程。
论文提出一种实时交互感知框架,利用嵌入式电容传感让仿壁虎干黏附界面在黏附全周期内估计接触状态,并划分空闲、接近、接触、啮合、脱离五种离散状态。基于实验采集并增强的传感器数据,六种轻量机器学习模型的对比中随机森林离线分类准确率最高,为95.65%。在线部署时随机森林结合规则状态机把准确率从78.02%提升到93.14%,宏F1为0.9343,推理周期53毫秒。
Ropedia W0 是作者提出的第一视角移动操作世界基础模型,覆盖人类与多种机器人本体。其 Xp-Data 包含 1 万小时第一视角人类数据和 3 千小时机器人数据,并配有统一多模态标注;模型用相机位姿编码移动、用投影骨架编码操作。
推荐理由:该工作构建跨人类与机器人的第一视角移动操作世界模型,并公开数据规模与五项基准评测结果,可供比较世界模型路线。
PhysWord 是一个先推理后动作的机器人基础模型,用原子动作动词作为共享语义锚点,把物理动态的连续表示组织成可复用的推理原语。模型预测未来原子动作词,并将其上下文隐状态与对应未来观测导出的潜在目标对齐,再按时间自回归预测 Physical Words 以捕捉执行阶段转换。
推荐理由:论文提出以原子动作动词为语义锚点的推理先验框架,并给出仿真基准与实机操作的成功率对比。
CoopUQ 提出一种多机器人社交导航框架,通过跨机器人时空特征融合预测未来占用栅格地图,并用预测及其不确定性引导约束多智能体强化学习策略。该策略对预测为占用或高不确定的区域施加代价,使策略在分布偏移下调整风险敏感度。
论文提出 PhysRSI-eval,用首次尝试表现、效率、成功率、预算和失败后改进五个维度量化物理递归自我改进(RSI),并在 18 个操作任务、固定交互预算下评测不同 VLM。
作者在 arXiv 预印本中报告,GPT-6 Astra 可直接解读基于视觉的触觉图像,并通过其现有视觉接口在 19 个仿真 UniVTAC 与 OpenViTac 任务上实现少样本闭环控制,每个设置采样 210 个场景种子。
推荐理由:论文在仿真触觉基准上比较通用多模态模型与专用策略,并给出视觉单独输入时的对照结果。