研究:目标误泛化中策略对齐的三种失败深度
论文研究目标误泛化中目标信息在智能体内部丢失的深度,覆盖八个视觉导航与操作任务,包括机器人控制。
推荐理由:论文在八个视觉导航与操作任务中追踪目标信息在策略内部的留存深度,并据此区分可修复与需重训的失配情形。
技术方向
与机器人感知、决策和物理交互直接相关的感知与规划进展
89 条精选近 30 天 89 条共收录 230 条
论文研究目标误泛化中目标信息在智能体内部丢失的深度,覆盖八个视觉导航与操作任务,包括机器人控制。
推荐理由:论文在八个视觉导航与操作任务中追踪目标信息在策略内部的留存深度,并据此区分可修复与需重训的失配情形。
NovaSplat提出一种无模型6D物体位姿估计流程,仅用引导阶段拍摄的短智能手机视频训练3D高斯泼溅模型,该模型既作为检测与粗位姿估计的模板来源,也作为位姿细化的可微主干。
推荐理由:论文用手机短视频训练3D高斯泼溅表示,为无CAD模型的新物体6D位姿估计提供可复现流程。
NTR 提出神经 token 重建框架,用自蒸馏掩码隐特征重建目标直接约束无感知端到端驾驶中的紧凑场景 token 瓶颈,使重建梯度只经过该瓶颈。方法还引入基础模型标注得到的语义先验作为弱语义接口,推理时移除全部辅助重建组件,部署规划器保持不变。
推荐理由:论文针对无感知端到端驾驶的场景 token 瓶颈提出自蒸馏重建监督,并在三个公开基准上报告结果。
作者提出一种JEPA式世界模型,将潜动力学限制为双线性参数化,把建模负担转移到编码器,并结构化地保证动作可恢复性、避免表征坍缩。作者称一大类非线性动力系统经变换后可呈双线性形式,在标准2D和3D控制任务中,从高维观测直接学到的双线性动力学表征使规划时间缩短近三个数量级,同时保持或提升控制精度。
推荐理由:论文提出双线性参数化的JEPA式世界模型,在2D与3D控制任务上把规划时间缩短近三个数量级,可供关注世界模型规划效率的研究者参考。
作者提出 SALT(State-Affine Latent Transition),一种动作条件的状态仿射潜空间动力学模型,动作同时调制状态变换与加性更新,并以递归多步 rollout 监督训练。
推荐理由:论文把多步 rollout 误差拆成单步误差与传播项,并据此提出状态仿射转移模型,为视觉规划中的递归误差提供可迁移的分析视角。
作者提出证据获取与可行性门控框架 EAFG,让 VLM 生成子目标、机器人执行 TAMP 规划的动作序列以获取视觉证据,再据此决定继续任务规划、继续获取证据还是停止。在三个烹饪场景(明确指定所需物体、指令欠明确、所需物体缺失)中,EAFG 在明确与欠明确场景下任务完成情况优于 VLM-TAMP 基线,并在所需物体缺失时能适当停止。该工作为 arXiv 预印本(arXiv:2608.20084)。
推荐理由:论文提出用视觉证据门控 VLM 子目标与 TAMP 规划,并在三个烹饪场景中与 VLM-TAMP 基线对比,可供关注长程操作规划的研究者参考。
作者提出VLA-Corrector,一个面向动作分块VLA策略的轻量纠正推理框架,在不修改主干策略权重的前提下检测视觉动态偏差并触发纠正重规划。该框架引入潜空间视觉监控器LVM,持续比较预测与实际视觉特征演化,一旦检测到持续偏差便截断剩余动作,并通过在线梯度引导OGG重新规划。
推荐理由:该预印本提出不改动VLA主干权重的检测与纠正推理框架,为动作分块策略的闭环响应提供可迁移思路。
作者提出一种安全关键的激光雷达惯性里程计(LIO),基于新的流形上集合隶属滤波,为机器人提供确定性保护水平。研究采用未知但有界假设,推导出迭代最近点算法中点云噪声与估计不确定性之间的闭式关系,并据此设计流形上椭球集合隶属滤波(OM-ESMF)并集成进 LIO 系统。实验结果显示,该系统能为多种机器人在不同环境中提供有效的确定性在线安全参考。
推荐理由:论文把未知但有界假设引入激光雷达惯性里程计,给出可在线计算的确定性保护水平,为机器人导航安全评估提供一种可迁移的滤波思路。
作者提出对齐增量三平面Transformer(ADTT),一种紧凑的4D占用世界模型,用自车运动补偿显式对齐历史三平面,并只预测未来场景变化。模型在对齐先验上用查询条件Transformer预测残差变化,其中自车运动查询引导可控未来运动、可学习外部查询捕捉自车运动之外的场景变化,预测变化叠加到对齐先验后解码为未来占用场景。
推荐理由:论文提出用自车运动对齐历史三平面、只预测场景残差变化的紧凑占用世界模型,可用于比较自动驾驶场景预测的算力取舍。
PhysVLMM 提出一种为视觉-语言-运动地图中每个铰接部件维护物理信念并回答规划器查询的方法,包含地图更新与查询两个算法。该方法把拉动方向保留为后验而非点估计,并将每次拉动的证据以闭式形式传递给地图中未被触碰的相似部件,还能在给定风险下回答动作是否成功或选择弃答。
推荐理由:论文在18个真实家庭的门和抽屉上验证关节类型识别与拉动响应预测,并给出与可微仿真在误差和速度上的对比。
作者提出 Don't Risk It Planner(DRIP),一个仅依赖 LiDAR 的端到端规划框架,将占据预测与轨迹条件间隙及不确定性估计结合。DRIP 直接在 LiDAR 占据栅格历史上预测候选控制序列对应的最小机器人与障碍物间隙分布,并用碰撞结果标定预测不确定性的风险代价训练模型。在最多 45 名行人的闭环实验中,DRIP 相比现有基线取得更高成功率、更少碰撞和更少冻结行为。
推荐理由:论文提出仅用 LiDAR 的群体导航规划器,把预测不确定性与碰撞结果挂钩,可供比较无跟踪方案的闭环表现。
LOGIV 是一个面向具身机器人执行的图工程框架,用显式任务图连接符号规划、基于观测的验证与具身动作,并在执行中检查条件支撑与资源顺序边的物理有效性。在 RoboTwin V2 和 BiCoord 的 20 个双臂任务、三种执行骨干上,无注入扰动时平均任务成功率分别提升 10.67 和 15.33 个百分点;在预设扰动下,其任务完成与条件恢复优于三个适配的恢复基线。
推荐理由:论文把任务图与执行期条件校验结合,为长程机器人任务提供可复用的失败恢复接口。
论文提出基于姿态的可达图ORM,预先计算6自由度串联机械臂在188,873个工作空间位置上的运动学可行性,并编码为83 MB的紧凑索引图。配合JIT编译的运行时管线,单目标规划延迟从13.5-26.9秒降至0.289-0.349秒,相对基线可达点云的平均凸包体积重叠比为0.933、平均alpha-shape体积比为0.976。该框架面向经皮肝消融的机器人针刺入口点规划,支持亚秒级计算。
推荐理由:论文把6自由度机械臂的可行入口点规划从13至27秒降到0.3秒左右,可用于比较术前与术中轨迹规划的计算方案。
论文提出 Surrogate Uncertainty 方法,用外部代理贝叶斯模型估计黑盒视觉语言模型在视觉定位中的逐查询不确定性,并分解为偶然与认知两部分。该方法通过跨输入模态的分层检索构建紧凑联合空间邻域,可结合保形预测或基于模型的规划实现主动视觉定位。作者称在多个定位基准和先进VLM上校准与任务表现均有提升,并在真实 Fetch 机器人上按开放世界指令在自信行动与信息收集间做取舍。
推荐理由:论文把黑盒VLM的视觉定位不确定性交给外部代理贝叶斯模型估计,并在真实Fetch机器人上验证主动定位的取舍。
论文提出将LLM监督者在线蒸馏为决策树,并用反事实回放为每次训练回合后的恢复动作打上必要、不必要或有害的标签,以淘汰无用规则。在仿真中20个仅靠MPC会卡住的未见布局上,该决策树在所有随机种子下至少正确处理18个,或到达目标,或在无可行路径时求助。其表现与始终查询LLM的监督者和专家设计规则相当,且测试时不发起任何LLM查询。
推荐理由:论文把LLM监督者在线蒸馏成决策树,用反事实回放标注恢复动作,为移动机器人卡死问题提供可迁移的监督设计思路。
Kairos 提出按任务语义从五个规划引擎中选择并统一调度,覆盖从 STRIPS 到 PDDL+ 的多种 PDDL 片段。在九个对比套件的 1,756 个任务上,它在完整时限内解出的任务数多于各套件中最强的被评估规划器,在数值、时序、PDDL3 和 PDDL+ 上差距最大,在 100 ms 和 1 s 时限下解出任务也最多。
推荐理由:论文给出跨经典、数值、时序与混合 PDDL 的多引擎调度方案,并公开规划器与基准,便于比较不同规划器的覆盖与延迟。
作者提出统一导航框架 EvoLife,让多模态具身智能体自行选择移动方式、何时提问以及保留哪些经验。其混合动作空间支持航点导航、局部离散调整、像素级导航和物体导向导航,主动交互允许智能体在遇到歧义或困难时寻求澄清或帮助,持久空间记忆把观察和对话绑定到地点。
推荐理由:论文提出统一导航框架 EvoLife,把混合动作空间、主动求助与持久空间记忆放在同一系统中,并给出多基准评测结果。
ProLoop 是一个进度感知闭环框架,从期望状态与执行状态之间的结构化关系显式推导子目标进度,再由学习到的 State-Relation Monitor 判断关系并聚合为进行中、偏离或完成。在 AgentBoard ALFWorld 和真实机器人平台上的实验显示,整体成功率提升 12.94%,Hard 任务提升 15.46%,环境交互次数减少 32.3%。
推荐理由:论文提出用状态关系显式估计子目标进度,并在仿真基准与实机平台报告成功率与交互次数变化,可供长程任务规划研究比较。
作者提出用仿真抓放交互生成的监督,将双侧六轴力/力矩历史与冻结语言空间对齐,预训练为语义结构化的物理表征。在仿真未见物体上,该表征支持以文本原型读出机器人动作、物体重量和抓取交互;在实机放置任务中,无需更新编码器、仅靠无标签校准即可识别接触与支撑状态,表现优于垂直力符号反转规则基线。对于预训练中未出现的连接器插入事件,低秩适配相比从头训练提升了数据效率。
推荐理由:论文把双侧六轴力/力矩历史对齐到冻结语言空间,为外接触感知提供可复用表征,并给出仿真与实机放置、连接器插入的验证路径。
论文提出 CuBot-STT,将模块运输、接口锁紧与释放集成在一台外部机器人中,立方模块提供结构支撑与 24 V 配电。每个面上的齿轮传动把单路外部输入转换为四个螺旋锁紧点的运动,以保留内部空间。
推荐理由:论文给出模块化机器人外部运输与锁紧一体化设计及规划方法,可用于比较模块重构系统的接口与规划方案。