SimPT:面向干预式 VLA 后训练的自动化仿真框架
SimPT 是一个自动化干预式 VLA 后训练的仿真框架,把策略 rollout、纠正数据采集、策略训练和独立评估整合在一起。
站内阅读 ↗PAPERS / 研究文献
具身智能历史论文精选与持续收录的最新研究。
按发表时间浏览论文与研究;新论文沿用日常评分、中文摘要及符合条件的全文翻译规则。历史收藏继续保留原文。
SimPT 是一个自动化干预式 VLA 后训练的仿真框架,把策略 rollout、纠正数据采集、策略训练和独立评估整合在一起。
站内阅读 ↗研究提出一种轻量级状态相关目标协调方法,用于两轮倒立摆机器人的端到端导航与控制,通过俯仰条件标量系数β(s)∈[0,1]在训练中调节平衡与导航目标的相对权重,无需PID或LQR等辅助姿态控制器。
站内阅读 ↗Yiqing Yuan等人提出ACT-—Flow,将自适应Action Chunking Transformer与条件残差流策略耦合,用于视觉插接任务的在线学习。
站内阅读 ↗该预印本研究了物理条件偏离训练分布时世界模型预测精度下降的问题,区分了预测器可用哪些输入以及机制如何计算这些输入的影响两个层面。在带捷径特征的合成基准中,由配对干预得到的冻结依赖掩码把分布外 RMSE 从全连接预测器的 1.769 降至 0.697,接近生成器 oracle 掩码的 0.694。
站内阅读 ↗PHD-Hand 提出一种连杆驱动的人形灵巧手,每根手指至少具备3个驱动自由度(DOA),借助柔性铰链和弹簧钢弹性驱动杆简化传动,无需大量微型运动部件,可用预算级3D打印机加工。作者称该设计降低了灵巧人形手的使用与开发门槛,并让手部尺寸更接近常人手掌。论文还给出样机在抓取与物体操作上的评估,以及运动学与控制方面的最新发现。
站内阅读 ↗RoPT 是一个面向视频的鲁棒 6DoF 物体位姿跟踪框架,作者称其把视觉感知、时序运动学与全局重定位耦合成闭环,以应对快速运动下的跟踪发散。视觉部分通过跟踪物体掩码处理部分和严重遮挡,运动学因子图则约束帧间更新、预测前向位姿并驱动多假设并行验证以避开局部极小。作者在多个挑战性基准和真实机器人演示中报告,快速运动下的跟踪存活率显著更高。
站内阅读 ↗SLoSa 是一个神经符号压缩与微调框架,用于训练小尺寸、低功耗且具备安全意识的机器人任务规划基础模型。该框架先用经典规划器、教师大模型和形式化验证器构建安全数据集,再经监督微调与由验证奖励机引导的强化学习微调。
站内阅读 ↗HyperDrone 是一个面向高性能批量渲染的四旋翼仿真器,作者称其速度超过现有先进批量四旋翼仿真器 20 倍以上。它结合优化的多旋翼动力学与光线追踪引擎 HyperLux,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,可渲染 RGB、深度、语义/实例分割、表面法线和光流,并在消费级 GPU 上达到数百万帧每秒。
站内阅读 ↗COWBOY 是一个可扩展的 sim-to-real 框架,用于学习情境化全身操作,在全身灵巧抓取任务上零样本迁移到数百个物体和杂乱桌面、货架、抽屉等非结构化场景。
站内阅读 ↗研究对比奖励层、优势层、损失层与PCGrad聚合在两种人形控制框架中的表现,用偏好奖励响应性(PRR)结合覆盖度与效用指标评估。没有哪种聚合层级在所有环境和标准下都最优:早期聚合行为响应范围更广,但其他目标的非预期变化更大;后期聚合提升控制精度,但响应性有所下降。
站内阅读 ↗作者提出 Context-Aware Navigation Explanation 框架,用大语言模型为辅助机器人解释导盲犬式的避障与导航动作,并将感知上下文与规划的未来轨迹结合生成自然语言解释。系统部署在 Unitree Go2 平台的室内导航场景中,评估不同解释上下文配置对用户信任和解释满意度的影响。结果显示解释满意度与信任呈强正相关,且将障碍物信息与未来轨迹结合的解释效果最好。
站内阅读 ↗研究提出一种适用于非线性非凸动态博弈的通用学习框架,利用已执行可行轨迹构建采样联合安全集和各玩家代价函数,每个时间步由智能体共同选择采样终端状态及到达该状态的广义纳什均衡,仅当满足玩家约定的协作接受规则时才采纳新解。框架支持个体不退化要求及加权代价、纳什议价等选择准则,并证明递归可行性、刻画各玩家代价随迭代不增的条件。
站内阅读 ↗MIT 等机构作者提出 Flexible Feature Editing Pipeline(FLEX),用语言模型根据自然语言纠正迭代编辑机器人内部任务特征表征,包含添加缺失特征、泛化已有具体特征、屏蔽无关特征三种操作。
站内阅读 ↗inr2action 提出参数空间记忆框架,将每个机器人片段拟合为神经隐式表示,其权重增量作为记忆,大小不随片段帧数变化。学习到的投影器把权重增量映射为 token 嵌入,用于语言模型问答和关节指令回归解码,查询时无需检索原始帧。在 RoboMME 上,语言模型在所有问题类型上超过随机水平,解码器平均 R² 为 0.51;将权重增量替换为匹配噪声后性能下降 11.4 点,随机初始化的权重无法解码。
站内阅读 ↗Real2Sem2Real(R2Sem2R)提出从真实到语义再到真实的流程,把一段单目人类演示RGB视频转成同一类别多个语义物体实例上的数千条机器人演示。
站内阅读 ↗T-WLA 提出一种世界-语言-动作架构,用共享视觉记忆同时指导动作生成与触觉修正。每次视觉更新时,视觉分支把当前图像、任务指令和检索到的历史整合为视觉记忆,用于生成基础动作;同一记忆被缓存给轻量触觉编辑器,结合当前动作块与触觉输入预测未执行动作的残差修正,无需重跑视觉分支。
站内阅读 ↗VeriCalib将外参标定建模为可验证估计问题并输出标定状态,指出拟合残差在同一批观测上计算,无法判断结果是否可接受。它用结构化协方差联合传播相机与LiDAR标靶特征不确定性,并按残差估计方差分量,解耦旋转与平移以定位各方向精度、引导补采最弱方向数据。方法还引入视内与跨视检查及外参最小可检测偏差,在未知噪声水平下保持显著性水平。
站内阅读 ↗Nuo Chen 等人提出一种将鲁棒力旋量观测器与位姿-力混合控制器结合的无传感器物理人机交互框架。该方法用神经网络补偿系统摩擦与未建模动态以提升观测器性能,并通过任务零空间分解分离关节速度、降低人类扰动对观测器的影响。实验结果显示该框架在保持位姿与力跟踪性能的同时给出力旋量估计,作者称其可应用于没有力/力矩传感器的机械臂平台。
站内阅读 ↗Nuo Chen 与 Ya-Jun Pan 提出一套人机交互框架,用元学习训练的神经网络识别人处于主动引导还是被动跟随状态,不再依赖预设切换阈值。作者称把控制器中与力相关的参数纳入识别后,被动模式识别率从 90.1% 提升到 99.1%,主动模式从 79.8% 提升到 97.1%。
站内阅读 ↗NVIDIA 等机构的研究者提出 Joints, Camera, Action! 模型,可为任意给定骨架同时生成视频与可重放的 3D 运动,并估计相机把运动配准到场景。
站内阅读 ↗AdaDex 是一个目标条件强化学习框架,能把数秒的单条手-物轨迹(来自动捕或野外 RGB(D) 视频的 HOI 重建)转化为可泛化的灵巧技能。其核心 Hybrid Dexterous Mimicking 在两类大规模并行环境上训练共享策略:密集运动跟踪环境注入人类先验,带噪声初始状态与稀疏物体成功奖励的泛化环境迫使技能脱离参考轨迹。
站内阅读 ↗UniWALM 提出统一世界-动作-语言模型,在单一混合Transformer骨干中联合学习视频、动作与语言,各模态既作条件信号也作监督目标,并在同一次解码中输出子任务与文本记忆,无需独立规划阶段。
站内阅读 ↗IndustrialRemembr 提出面向机器人车队的共享时空记忆系统,扩展 NVIDIA ReMEmbR,仅在需要时生成场景描述以降低服务端计算。每台机器人用 NVIDIA Jetson 将视频片段编码为检索嵌入、视觉 token 和重建潜变量,不上传原始相机画面。
站内阅读 ↗作者提出 Planning Under Noise(PUN),一种学习噪声感知价值场的神经算子,用于在未见几何环境中进行规划。该方法在障碍物上施加反射 Neumann 边界条件、在目标处施加 Dirichlet 条件,并扩展 Monte Carlo 求解器 Walk on Stars 到更高维,从部分收敛的噪声标签中学习几何到价值场的映射。
站内阅读 ↗PhysCanvas 是一个面向接触密集机器人操作的视觉触觉世界模型,将多视角 RGB、触觉图像、标记位移、任务状态与动作统一到同一视觉空间,并共享视频 VAE 与预训练生成骨干。
站内阅读 ↗研究提出耦合视觉-运动重映射方法,将全景方位扭曲与上肢偏航逆变换配对,用于第一人称人形机器人遥操作,并实现Global Zoom(GZ)与Focus+Context(F+C)原型。在N=8的被试内研究中完成72次试验,GZ完成数最高(23/24;Fixed为20/24,F+C为21/24),但6/8参与者更偏好F+C,该样本中完成率与偏好指向不同映射。
站内阅读 ↗AgenticRoboRL提出一种跨不同机器人执行框架后训练规划器的框架,训练方案结合监督微调与多轮强化学习。为适配VLA技能调用和控制代码生成等不同执行机制,该方法用框架专属适配器把记录下来的规划器交互与任务结果关联起来,同时保持执行组件固定。
站内阅读 ↗SceneRig 是一个智能体系统,可将单张图像重建为可编辑、可直接用于仿真的3D场景。它结合几何、视觉与物理工具,并在物理仿真器内执行编辑与验证循环以获得物理稳定性。作者称,相比基线方法,SceneRig 在实例分割、物体外观和3D摆放上有所改善,其场景能更准确地预测真实机器人策略结果,并更可靠地支持已录制操作在无需轨迹适配的情况下回放。
站内阅读 ↗Kelvin Aladum 与 Nisar Ahmed 提出 MAPLE,一种无需训练的预测式室内探索方法,将蒙德里安过程改造为以当前部分地图中已观测几何线索为条件的在线生成先验。
站内阅读 ↗CoGaussian 提出一种基于高斯的开放词汇协同语义占据预测框架,把场景表示为与基础模型对齐的稀疏3D高斯,用于多智能体间几何与语义信息的通信和融合。作者指出,现有协同语义占据方法依赖稠密3D体素标注且只能识别预定义语义类别。在 Semantic-OPV2V 基准上,该方法优于现有的开放词汇单智能体方法。
站内阅读 ↗REACT 是一个从人人演示中学习可部署人形机器人交互策略的框架,把语义接触结构作为连接演示处理、交互学习与机载控制的监督信号。其中 VLM 引导的接触建模与重定向流程识别人人交互中的语义接触并迁移到人形机器人几何上,特权交互策略借助接触奖励学习行为后,被蒸馏为仅用机载传感的自我中心深度策略,并引入生成式伙伴状态建模以应对遮挡。
站内阅读 ↗SuperMimic 提出用单一可微世界模型摊销人形机器人全身运动跟踪的学习,世界模型与跟踪策略在同一循环中联合训练,并通过短时想象 rollout 的反向传播为策略提供解析梯度。
站内阅读 ↗CLOSER提出证据感知的主动验证框架,把物体目标导航中的停止决策当作闭环证据采集,将视觉语言模型验证与主动感知结合。该框架微调开源VLM,把候选目标在各帧的视图标注为目标、非目标或不确定,用基于嵌入的多样性门控挑选互补视图,再由轻量网络融合各视图概率;若融合判断仍不确定,扩散策略仅依据跟踪掩码和深度驱动智能体靠近候选目标,直到判断明确。
站内阅读 ↗作者提出 FRDV(Fast Retargeting with Dynamics Validation),一个由快速约束运动学重定向和动力学校验两阶段组成的人形机器人运动重定向框架。
站内阅读 ↗论文提出 MARE(Modular Autonomy and Rendering Environment),一个基于 Unreal Engine 5 和 ROS 2 的开源月面巡视器感知与自主仿真套件。
站内阅读 ↗研究提出 GPT-as-Tactile-Policy,将专家演示总结为任务指引和触觉参考,由 GPT-6-Astra 结合多模态观测与交互历史生成控制指令,无需额外机器人专用预训练或逐任务策略微调。在五项 UniVTAC 任务上平均成功率为 93.8%,Insert Hole 任务中触觉反馈将成功率从 31% 提升到 99%。执行分析显示模型能依据接触反馈进行试探与纠正。
站内阅读 ↗研究在 Idealworks 的 iw.hub 实机上评测 NVIDIA X-Mobility 与 COMPASS 导航策略训练流程,并用 NVIDIA Cosmos 生成仿真到现实变体。
站内阅读 ↗论文提出TaskWAM,一个闭环、阶段感知的世界-动作模型框架,用Mode Tokens表示细粒度任务要求、用State Tokens跟踪执行进度,以缓解长程操作中局部合理但方向错误的推演导致的阶段混淆。
站内阅读 ↗作者提出 SPAR(Search-trained Push Action Ranker),从仿真搜索结果中学习为推挤基元排序,用于可移动障碍物导航(NAMO)。
站内阅读 ↗作者提出 Reinforced Iterative Learning Control(RILC),将迭代学习控制(ILC)与强化学习(RL)并发耦合,使弹性关节机械臂在模型不确定下跨不同轨迹实现快速适应与有保证的跟踪收敛。
站内阅读 ↗Google Scholar 提醒:待接入邮箱,尚未运行。