OV-PEAR:面向未知工业操作物体的观测验证位姿尺度估计与重建
OV-PEAR 是一个面向未知工业物体的三维重建与位姿尺度估计框架,通过实例分割生成物体级三维假设、经外观感知视角检索与显式尺度搜索对齐到机器人坐标系,再用多视角 RGB-D 证据反投影验证体素占据。
推荐理由:论文给出未知工业物体的位姿尺度估计与重建流程,并在BOP-Industrial和实机装配上报告结果,可供比较零样本位姿方法。
内容类型
按内容形态浏览
327 条精选近 30 天 327 条共收录 632 条
OV-PEAR 是一个面向未知工业物体的三维重建与位姿尺度估计框架,通过实例分割生成物体级三维假设、经外观感知视角检索与显式尺度搜索对齐到机器人坐标系,再用多视角 RGB-D 证据反投影验证体素占据。
推荐理由:论文给出未知工业物体的位姿尺度估计与重建流程,并在BOP-Industrial和实机装配上报告结果,可供比较零样本位姿方法。
作者提出 DISCO,用渐进加宽的 MCTS 在物理仿真中生成长程规划,并把搜索结果周期性蒸馏进策略-价值模型,使策略在测试时无需仿真搜索即可直接部署。搜索过程中由学习到的策略提出连续动作,价值函数按任务完成进度为动作打分,并借助 GPU 并行仿真加速。在仿真与真实世界的多物体整理任务中,DISCO 的表现优于行为克隆、强化学习和基于搜索的基线。
推荐理由:论文把仿真中的 MCTS 搜索蒸馏进连续动作策略,为长程多物体整理任务提供了一条可迁移的训练思路。
TrajWAM 提出一种轨迹引导的世界动作模型,用于高效的动态机器人操作。该方法用历史物体掩码预测目标未来轨迹,再通过轻量 Trajectory ControlNet 引导预训练视频模型生成轨迹一致未来,并用解耦蒸馏实现一步视频-动作推理。
推荐理由:论文把未来视觉预测锚定到目标物体轨迹上,并给出一步推理的解耦蒸馏方案,可供动态操作研究比较。
论文提出 Collective Experience Learning(CEL)范式,让已部署机器人把自身执行经验汇总起来更新共享策略,再返回机群使用。作者通过失败引导经验检索微调(FERT)实现该范式,操作员只提供二值回合结果标签和环境重置,无需额外专家示范或纠正动作;容错异步训练系统(FATS)协调机器人执行、云端推理与策略优化。
推荐理由:论文提出用已部署机器人自身执行经验更新共享策略,并在96台机器人上验证了规模扩大带来的收益。
作者提出SWAP分层框架,将碰撞感知决策与稳定控制分离:高层扩散策略生成多模态避障动作提案,低层全身RL控制器跟踪提案并维持动态平衡。训练时通过事后标注在随机指令下滚动低层策略,把障碍物放在已执行动作未扫过的空间,从而构造无碰撞样本并重渲染感知。仿真和宇树G1实机实验显示对静态与动态障碍物均能可靠避障,测试时蒙特卡洛采样引导使速度、朝向或姿态等目标奖励平均提升34%,同时保持较高避障率。
推荐理由:论文提出分层框架,用扩散策略生成避障动作、RL控制器保持平衡,并在宇树G1实机上验证。
Fanxing Meng 与 Jing Xiao 的预印本研究把人婴幼儿运动发育量表表示为发育图,并在强化学习框架中训练人形机器人按量表描述的自然阶段学习粗大运动技能。结果显示,四套常用儿科运动量表中三套导出的图能成功引导机器人习得这些技能;第四套因缺少其他量表具有的部分中间里程碑而出现失败,补上缺失里程碑后也能成功。研究据此评估哪些量表足以作为发展到站立和行走的完整指南。
推荐理由:研究把四套婴幼儿运动发育量表转成发育图并用于强化学习训练人形机器人,可比较各量表作为技能训练指南的完整性。
论文提出 Progress-Guided Preference Generation(PGPG),一种无需人工在环监督的无监督偏好对齐框架,用于微调预训练的生成式控制策略。该方法通过有序覆盖对齐衡量自主采集轨迹相对少量专家演示的序列进度,自动提取伪偏好标签,并称无需手工设计奖励函数。在多项长程操作任务实验中,PGPG 优于标准监督微调基线,并可同时集成扩散策略与流匹配策略。
推荐理由:论文提出无需人工标注的偏好对齐框架,用少量专家演示自动生成伪偏好标签,可比较其与监督微调在长程操作任务上的差异。
浙江大学等团队提出 ScaleNav,一个面向语言条件局部导航的世界-动作统一框架,先用互联网第一视角视频做指令条件视频预训练,再用带动作标注的仿真数据对齐动作块,最后联合微调。
推荐理由:论文用互联网第一视角视频预训练视觉动态,再对齐仿真动作,为语言条件局部导航提供可迁移的三阶段训练思路。
Gang He 等人在 arXiv 预印本中提出 VeSTA 框架,用于弥合连续视觉语言导航中语义能力与物理可执行性之间的差距。作者指出当前仿真器的宽松接触模型可能掩盖物理不可行动作,使到达成功率不能反映真实执行能力。
推荐理由:论文指出宽松接触模型会掩盖物理不可行动作,并给出对齐可执行轨迹的方法,可供评估VLN策略的仿真与实机差距参考。
香港大学团队提出SpaRV,一种由可微光线步进渲染的稀疏辐射体素地图,让不规则LiDAR扫描与图像共同监督建图。该方法用LiDAR深度和占据约束几何,并通过交替训练地图与光度优化相机位姿和焦距来修正相机误差;训练和渲染时仅保留一个全分辨率子图、其余用更粗八叉树层级以限制GPU显存。
推荐理由:论文用稀疏辐射体素让不规则LiDAR扫描与图像共同约束建图,并交替优化相机位姿与焦距,为机器人场景重建提供可迁移思路。
SteerAct 提出一种少样本时间引导框架,在不更新动作模型权重的情况下,通过修改特征激活提升预训练机器人动作模型的任务成功率。该方法用预训练稀疏自编码器提供候选特征,并以时间描述符刻画各特征局部激活顺序模式的分布,从而在无需时间步对齐的情况下比较不同 rollout。
推荐理由:论文提出用稀疏自编码器特征的时间描述符做少样本激活引导,为测试时提升预训练动作模型提供可迁移方法。
作者提出向量量化世界模型 VQ-WM,将离散潜空间长程搜索与连续视觉反馈控制结合,用于机器人操作规划。该方法用首达时间的准度量估计替代欧氏距离,使规划抽象与控制器能力对齐。在汉诺塔实机操作中,该方法仅用短演示数据即达到 100% 成功率,并在操作与运动仿真基准上比最强世界模型高出 13.3 至 85.3 个百分点。
推荐理由:论文把离散潜空间搜索与连续视觉反馈控制结合,并用首达时间估计对齐规划与控制器能力,为长程操作提供可迁移方法。
AQUAACT 是作者称为首个公开的语言标注水下数据集,将相机图像与人类摇杆指令配对,包含 1.9 小时真实演示和 17.9 小时仿真演示,并附车辆惯性测量数据。实验显示仿真演示可迁移到真实数据,并大幅减少策略所需的真实演示量。在仿真中对七种策略(从模仿学习基线到 VLA 模型)的闭环基准测试显示,没有策略完成超过五分之一的回合,陆上数据预训练也未让大型 VLA 模型优于从头训练的小策略。
推荐理由:论文公开了带语言标注的水下遥操作数据集,并用七种策略的闭环基准说明水下自主任务仍未解决。
CusADi2 是一个开源软件库,通过在单个批次实例内部额外并行化计算,降低机器人运动学、雅可比与海森矩阵的批量求值延迟。
推荐理由:该库在 MuJoCo Menagerie 全部 67 个机器人上对比多种基线,给出批量运动学与雅可比、海森计算的低延迟方案。
Behnam Moradi 提出 Self-Crystallizing Behavior Trees(SCBT),把基础模型当作编译器而非运行时,在行为树节点失败时由 LLM 提出最小子树补丁,经 CMA-ES 调参、上下文赌博机决定是否调用 LLM,并通过静态检查、不变量监控回放和相对未修补树的经验余量三阶段准入。
推荐理由:论文把大模型推理编译成确定性行为树,并给出仿真中的调用次数与任务成功率对比,可了解基础模型与经典控制结合的一种路径。
论文提出一种共享自主仲裁策略,利用多模态意图推断所得信念分布的熵动态调整自主等级。人类意图用动态贝叶斯网络建模,依据遥操作中操作者实时注视数据和机械臂运动更新目标信念,再将人类输入与自主控制的融合表述为模型预测控制问题,实现从直接遥操作到完全自主的连续过渡。
推荐理由:论文用眼动与机械臂运动推断操作意图,并据此在遥操作与自主控制间连续调节权限,可与既有共享自主方法对照。
作者提出 T(R,O) Grasp++,一个面向杂乱环境的跨本体灵巧抓取合成扩散框架,并构建约 0.5B 条抓取标注、覆盖八种灵巧手和约 5 万物体的仿真基准。实验称该模型在八种灵巧本体上平均成功率达 88%,推理时延仅 0.3s,推理样本效率提升 10 倍以上。该工作为预印本,结果基于仿真实验。
推荐理由:论文给出约5亿条抓取标注的仿真基准与跨八种灵巧手的扩散抓取框架,可用于比较杂乱场景抓取方法。
TILDE 提出一种从预训练具身基础模型向未做动作预训练的策略迁移能力的蒸馏框架,结合学生状态上的在线蒸馏与教师执行恢复轨迹的学习。其 AutoDAgger 用机器人奖励模型监测任务进度并触发教师介入,无需人工监控或操控,恢复轨迹采集速度比人类在环方法快 2 倍以上。在三个真实世界任务上,TILDE 的任务表现最高为行为克隆的 4.1 倍,并支持跨架构蒸馏。
推荐理由:论文提出从具身基础模型蒸馏策略的框架,并给出自动数据聚合与实机任务对比结果,可供关注策略迁移的研究者参考。
Jiaxi Jiang 等提出 HumanoidPose 框架,把视觉当作本体感知,仅从视频恢复人形机器人在世界空间中的全身关节配置。该方法将预训练人体姿态特征与机器人运动学结合,并把人体动作重定向到十六种人形机器人本体,从而完全用合成数据学习;还通过自训练利用无标注在线视频训练 2D 机器人姿态检测器。
推荐理由:论文提出仅凭视频恢复人形机器人全身关节配置的框架,并在三个真实平台上与基线比较误差。
一篇 arXiv 预印本在 RoboDojo 的六项操作任务上评测了九款前沿多模态语言模型,让它们直接控制真实机械臂。作者称这是首次在物理硬件上对广泛前沿模型做统一操作任务比较,结果显示这些模型能完成多种操作任务,但精度和效率尚不足以在实际动作预算内完成。2026 年 7 月至 10 月间基准性能对应 53.9 天的翻倍周期,最佳执行速率提升 4.4 倍,最低执行成本下降 6.2 倍。
推荐理由:在真实机械臂上统一评测九款前沿多模态语言模型,给出能力现状与性能翻倍周期,可作为通用模型直接控制机器人这一路线的参照。