RoboMMT:学习稳定跟踪调制后的表达性与交互性机器人动作
RoboMMT 提出一种模块化控制架构,将参数化表达动作合成、基于物理的角色控制与面向空间交互目标的反应式适应耦合起来,训练一个参考条件跟踪策略在广泛表达域内保持动态稳定。
站内阅读 ↗PAPERS / 研究文献
具身智能历史论文精选与持续收录的最新研究。
按发表时间浏览论文与研究;新论文沿用日常评分、中文摘要及符合条件的全文翻译规则。历史收藏继续保留原文。
RoboMMT 提出一种模块化控制架构,将参数化表达动作合成、基于物理的角色控制与面向空间交互目标的反应式适应耦合起来,训练一个参考条件跟踪策略在广泛表达域内保持动态稳定。
站内阅读 ↗研究团队提出 ForagerSim,一个面向需要地图推理的具身任务的跨学科研究平台与仿真环境,场景覆盖移动机器人搜救与动物觅食,可在复杂迷宫和可能无限大的开阔区域中运行。
站内阅读 ↗Cartender 提出从真实驾驶记录中学习未被采取的分支,用视觉语言模型生成替代未来及对应指令,并以不支持的指令作为负标签,从而在无仿真器条件下构造匹配与不匹配的指令-动作对。
站内阅读 ↗RoboPhoto-VLA 提出一个统一视觉-语言-动作框架,联合建模感知、推理与相机控制,用于自主机器人摄影。该框架包含用于结构化动作规划的 PhotoCoT 和将相机行为与人类审美偏好对齐的 Aesthetic Direct Preference Optimization(ADPO)。
站内阅读 ↗AnchorFlow-VIO 是一个基于 Basalt 的开源单目视觉惯性里程计系统,作者在 LaMAria 上用统一配置完成评估。系统使用一个灰度相机和一个 IMU,结合出厂 IMU 校正、固定时间调整、窗口化初始化和固定模板 patch 跟踪。
站内阅读 ↗论文提出运动学信息年龄 K-AoI,用瞬时笛卡尔速度对 AoI 加权,把时间陈旧度换算为空间偏差,用于数字孪生遥操作的同步评估。作者在由 6-DOF 机械臂、Unity 孪生体和 tc netem 网络损伤构成的测试台上,跨七种网络条件评估,发现 K-AoI 与 AoI 的秩相关在所有网络下不超过 ρ=0.65,卫星连接下降至 ρ=0.22。
站内阅读 ↗Binbin Zhang 等人在 arXiv 预印本中提出 PhantomTac,利用约 0.5 mm 厚、无需供电的磁标签改变磁场,从而伪造磁性触觉传感器解读出的力。
站内阅读 ↗论文提出一种面向人形机器人的数据高效示教学习(LfD)框架,从演示视频中提取紧凑的任务特征而非原始图像来学习操作技能。该框架结合分层视觉预处理、基于Kinect的人体关节估计、提示式目标检测和深度信息,提取人体运动特征与三维物体位置,再训练时序深度学习模型预测机器人关节角轨迹。
站内阅读 ↗作者提出HS-MoDP,通过共享专家池上的独立语义路由,把分别演示的手臂技能组合起来,在Unitree G1上取得比基线更强的技能组合效果。为采集全身接触操作演示,团队开发了同构外骨骼G1Exo,对机械臂构型提供关节级直接控制。
站内阅读 ↗Kryštof Pšenička与Stefan Edelkamp提出一套完整的GPU常驻管线,用于多机器人对水下结构做3D巡检:输入三角网格和K台携带短距、有限视场相机的机器人,输出联合覆盖目标比例表面的6自由度轨迹,并最小化线性插值的完工时间与总成本目标。
站内阅读 ↗研究提出ERR-Env可验证交互环境与ERR-Bench基准,用于评估具身VLM在正常、中间和错误状态下的恢复能力与执行可靠性。作者进一步提出在线强化学习方法Action-Grouped Turn-GSPO(AGT-GSPO),结合回合级任务进度与错误状态奖励及动作分组优势估计,训练出2B参数的ERR-VLM。
站内阅读 ↗OmniInteract 提出面向双人形机器人全身物理交互的统一控制方法,通过表面接触感知重定向与可扩展残差策略学习应对人机形态差异和交互多样性增长带来的控制保真度下降。
站内阅读 ↗Aung Htet 等人提出一种全脉冲神经网络控制架构,用环形吸引子编码旋转关节状态,使表示与旋转系统的拓扑一致。稳态调节在这些分布式表示上直接计算目标状态偏差,对向增益调制群体把偏差转为活动凸包的受控相位移动,实现设定点调节;作者推导出解析傅里叶相位解码器,并用推挽脉冲群体实现其带符号分量。
站内阅读 ↗针对细圆柱物体难以容纳平面标记的问题,提出利用物体已知曲率的双色条纹标记,以单相机提升位姿测量。在15 cm正对相机条件下,滚转标准差Cramér-Rao下界为平面标记2.00°、单曲面标记0.38°、环绕标记0.21°,蒙特卡洛滚转RMS误差与对应下界相差约10%以内。一阶关系将曲面标记矢高与立体基线提供的滚转灵敏度联系起来,为标记几何设计提供依据。
站内阅读 ↗SSIO 提出积分自监督方案,让惯性里程计模型从零训练时不再依赖真值轨迹,只需标定 IMU 并在正常运行时记录数据。该方法先用短窗积分 IMU 的教师模型监督学生模型,学生直接预测速度且精度高于教师,再用多窗口位姿图蒸馏序列一致目标。在覆盖行人、无人机、四足机器人和人形机器人的六个数据集上,同一套无速度或位置标签的训练流程所得模型平均速度误差与同架构有监督基线相差 0.07 m/s。
站内阅读 ↗FR-VLA提出一种视觉语言力推理模型,用可学习的力查询token基于视觉语言上下文生成力准入信号,再用该信号调制外部的token化力通路来生成动作。作者指出已有VLA通常以固定通路注入力信息,未显式判断力反馈与当前动作是否相关。在两个机器人平台的五个接触密集任务实机实验中,FR-VLA在六个评估阶段取得最高平均成功率,轨迹可视化显示其力准入随交互阶段变化。
站内阅读 ↗研究构建了自动仓储通道内机器人拣选的解析-DES基准,在相同货架几何、穿梭车运动与拣选条件下与Lerher等解析式对比。基准含180个场景(三种货架长度、两种成对运动曲线、n=1至30个访问拣选点,每场景十次仿真重复),复现已发表解析表需取dES=1.5 m、dTB=0 m。
站内阅读 ↗SkateNav 提出一个基于强化学习的滑行导航框架,让被动轮四足机器人同时学习转向、推进和两者的时间分配。该框架用带时间预算的到达目标替代速度跟踪,并通过自适应滑行周期与每步频率调制调整滑行、推进和恢复的时长。
站内阅读 ↗PaceVLA提出一种面向视觉-语言-动作模型的自适应时间执行框架,通过多粒度动作解码与路由选择减少低层动作步数。该框架包含基于共享动作专家的模式专用解码器,以及判断粗粒度执行是否合适的可量化性引导模式选择与上下文条件路由器。作者在三个多任务仿真基准和六个真实世界任务上测试,称其在多种本体包括长程与灵巧操作中提升执行效率并保持任务成功率。
站内阅读 ↗研究提出在代码空间直接搜索多智能体协调策略,由编码智能体在仿真反馈和正确性校验下迭代提出、实现、评估并改进算法。在2024 League of Robot Runners竞赛的一张地图上,两天搜索得到的策略在最密集实例上比本地复现的较强参赛方案高35.0%,并可泛化到未见地图实例。
站内阅读 ↗CondenseVLA 提出一种带可学习解码端历史压缩模块的多帧 VLA 策略,用可学习查询和多头交叉注意力把缓存的逐帧特征压缩为固定数量的 slot token,用于动作解码。
站内阅读 ↗作者提出 Vision-Language-Delta-Action(VLDA),把完整未来状态预测改写为紧凑的可操作过渡建模,用一个 Delta 变量捕捉潜在世界状态变化,作为视觉语言理解与动作生成之间的接口。
站内阅读 ↗研究团队提出 AeroIntent,一个基于仿真的无人机任务意图识别基准,包含 22 个轨迹程序在五类任务意图下生成的 990 条同步多模态序列,提供雷达、RGB、红外和深度观测,并设置程序不相交、雷达缺失和观测前缀三种评估协议。
站内阅读 ↗OV-PEAR 是一个面向未知工业物体的三维重建与位姿尺度估计框架,通过实例分割生成物体级三维假设、经外观感知视角检索与显式尺度搜索对齐到机器人坐标系,再用多视角 RGB-D 证据反投影验证体素占据。
站内阅读 ↗作者提出 DISCO,用渐进加宽的 MCTS 在物理仿真中生成长程规划,并把搜索结果周期性蒸馏进策略-价值模型,使策略在测试时无需仿真搜索即可直接部署。搜索过程中由学习到的策略提出连续动作,价值函数按任务完成进度为动作打分,并借助 GPU 并行仿真加速。在仿真与真实世界的多物体整理任务中,DISCO 的表现优于行为克隆、强化学习和基于搜索的基线。
站内阅读 ↗TrajWAM 提出一种轨迹引导的世界动作模型,用于高效的动态机器人操作。该方法用历史物体掩码预测目标未来轨迹,再通过轻量 Trajectory ControlNet 引导预训练视频模型生成轨迹一致未来,并用解耦蒸馏实现一步视频-动作推理。
站内阅读 ↗论文提出 Collective Experience Learning(CEL)范式,让已部署机器人把自身执行经验汇总起来更新共享策略,再返回机群使用。作者通过失败引导经验检索微调(FERT)实现该范式,操作员只提供二值回合结果标签和环境重置,无需额外专家示范或纠正动作;容错异步训练系统(FATS)协调机器人执行、云端推理与策略优化。
站内阅读 ↗作者提出LECDrive框架,在VLA模型中嵌入由任务特定潜token构成的渐进式专家认知链,让模型从DINOv3、SAM3和DepthAnything3中内化视觉、语义与几何知识。该认知链按课程学习原则从表征到语义、几何逐步施加监督,同时保持推理效率。作者称在物体感知、状态预测和轨迹规划等自动驾驶基准上,LECDrive持续提升基础VLM的性能,论文为预印本。
站内阅读 ↗研究提出一种月面站(SS)辅助的辐射测量导航架构,通过双差卫星观测与星间双向单程测距(DOWR)提升月球车相对定位。基于NASA LCRNS五星星座与月球南极Connecting Ridge附近轨迹的蒙特卡洛仿真显示,99.7%垂直定位平均误差从无SS的29.9 m降至双差伪距与多普勒处理的5.5 m,加入DOWR后为4.8 m。
站内阅读 ↗作者提出SWAP分层框架,将碰撞感知决策与稳定控制分离:高层扩散策略生成多模态避障动作提案,低层全身RL控制器跟踪提案并维持动态平衡。训练时通过事后标注在随机指令下滚动低层策略,把障碍物放在已执行动作未扫过的空间,从而构造无碰撞样本并重渲染感知。仿真和宇树G1实机实验显示对静态与动态障碍物均能可靠避障,测试时蒙特卡洛采样引导使速度、朝向或姿态等目标奖励平均提升34%,同时保持较高避障率。
站内阅读 ↗Fanxing Meng 与 Jing Xiao 的预印本研究把人婴幼儿运动发育量表表示为发育图,并在强化学习框架中训练人形机器人按量表描述的自然阶段学习粗大运动技能。结果显示,四套常用儿科运动量表中三套导出的图能成功引导机器人习得这些技能;第四套因缺少其他量表具有的部分中间里程碑而出现失败,补上缺失里程碑后也能成功。研究据此评估哪些量表足以作为发展到站立和行走的完整指南。
站内阅读 ↗论文提出 Progress-Guided Preference Generation(PGPG),一种无需人工在环监督的无监督偏好对齐框架,用于微调预训练的生成式控制策略。该方法通过有序覆盖对齐衡量自主采集轨迹相对少量专家演示的序列进度,自动提取伪偏好标签,并称无需手工设计奖励函数。在多项长程操作任务实验中,PGPG 优于标准监督微调基线,并可同时集成扩散策略与流匹配策略。
站内阅读 ↗ReDOA 提出一种在真实世界学习图像策略的框架,将控制学习与感知学习解耦:先在仿真中训练基于状态的教师策略,在真实机器人上执行并采集轨迹,再把控制知识蒸馏到基于图像的学生策略,并用观测对齐处理数据采集与部署之间的观测差异。
站内阅读 ↗浙江大学等团队提出 ScaleNav,一个面向语言条件局部导航的世界-动作统一框架,先用互联网第一视角视频做指令条件视频预训练,再用带动作标注的仿真数据对齐动作块,最后联合微调。
站内阅读 ↗针对多旋翼无人机直接测风可靠性受机体运动影响的问题,研究提出用车体水平与垂直速度量化每次风观测获取质量的置信度方法,并将置信度用于调节二维矢量估计器的测量权重。在水平平移、垂直运动和留出自主航点飞行实验中,双特征方案ROC-AUC达0.995,98.84%的平移观测被判定为不可靠;置信度自适应使平移时估计器中位增益从0.207降至0.064,悬停时仍保持0.151。
站内阅读 ↗Gang He 等人在 arXiv 预印本中提出 VeSTA 框架,用于弥合连续视觉语言导航中语义能力与物理可执行性之间的差距。作者指出当前仿真器的宽松接触模型可能掩盖物理不可行动作,使到达成功率不能反映真实执行能力。
站内阅读 ↗香港大学团队提出SpaRV,一种由可微光线步进渲染的稀疏辐射体素地图,让不规则LiDAR扫描与图像共同监督建图。该方法用LiDAR深度和占据约束几何,并通过交替训练地图与光度优化相机位姿和焦距来修正相机误差;训练和渲染时仅保留一个全分辨率子图、其余用更粗八叉树层级以限制GPU显存。
站内阅读 ↗Yoo Sung Jang 与 Michael Ryoo 提出 Latent Projection for Latent Planning,利用世界模型训练中 SIGReg 正则化带来的高斯结构,拟合状态动力学矩阵 A 并以其特征基衡量各潜空间方向的不确定性,从而把规划用的 ℓ2 成本限制在不确定性最低的 k 维子空间。
站内阅读 ↗InteractAgent 是一个面向长程人-场景交互的智能体多模态大模型系统,以单个 MLLM 同时担任规划器与评估器、冻结的 MotionLLM 作为执行器,形成规划、执行、观测、反思的闭环。系统引入在线观测做逐步恢复决策(继续/重做/重规划),并用记忆增强反思进行多轮计划细化与自适应停止。在 UniHSI 上,作者称其相比免训练基线提升了任务成功率并减少了穿透,代码已开源于 GitHub。
站内阅读 ↗Jineon Kim 与 Jhonghyun An 提出 TNVD-SC,在保留 Scan Context 环扇拓扑的同时编码地形相对垂直概率分布,用于森林长期 LiDAR 位置识别。
站内阅读 ↗Google Scholar 提醒:待接入邮箱,尚未运行。