SLoSa:面向机器人任务规划的小尺寸低功耗安全基础模型
SLoSa 是一个神经符号压缩与微调框架,用于训练小尺寸、低功耗且具备安全意识的机器人任务规划基础模型。该框架先用经典规划器、教师大模型和形式化验证器构建安全数据集,再经监督微调与由验证奖励机引导的强化学习微调。
推荐理由:论文给出小尺寸规划模型在 PDDL 任务、家用仿真与桌面机械臂上的成功率与功耗数据,可对照大模型本地部署的资源约束。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
SLoSa 是一个神经符号压缩与微调框架,用于训练小尺寸、低功耗且具备安全意识的机器人任务规划基础模型。该框架先用经典规划器、教师大模型和形式化验证器构建安全数据集,再经监督微调与由验证奖励机引导的强化学习微调。
推荐理由:论文给出小尺寸规划模型在 PDDL 任务、家用仿真与桌面机械臂上的成功率与功耗数据,可对照大模型本地部署的资源约束。
Yash Rampuria 等作者提出开源 GPU 加速图库 GGraph,同时支持真实机器人部署和大规模策略训练。GGraph 通过 ROS 2 接口接入真实机器人,并支持向量化 GPU 策略训练,内置 3-D 导航、探索和回环整合等任务。单机器人运行时图更新为毫秒级,规模化训练可跨数百个并行机器人,训练实际耗时降低一个数量级;结果来自仿真与真实世界实验。
推荐理由:GGraph 把图构建放到 GPU 上,并同时覆盖 ROS 2 部署与并行训练,为图表示机器人策略提供可复用基础设施。
HyperDrone 是一个面向高性能批量渲染的四旋翼仿真器,作者称其速度超过现有先进批量四旋翼仿真器 20 倍以上。它结合优化的多旋翼动力学与光线追踪引擎 HyperLux,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,可渲染 RGB、深度、语义/实例分割、表面法线和光流,并在消费级 GPU 上达到数百万帧每秒。
推荐理由:论文给出比现有批量四旋翼仿真器快 20 倍以上的渲染方案,并把纯仿真训练的偏航控制策略迁移到 Crazyflie 实机。
MIT 等机构作者提出 Flexible Feature Editing Pipeline(FLEX),用语言模型根据自然语言纠正迭代编辑机器人内部任务特征表征,包含添加缺失特征、泛化已有具体特征、屏蔽无关特征三种操作。
推荐理由:论文提出用语言模型迭代增删与泛化任务特征的表征编辑流程,并在导航、Franka 操作与真人语言纠正实验中比较不同编辑方式。
Real2Sem2Real(R2Sem2R)提出从真实到语义再到真实的流程,把一段单目人类演示RGB视频转成同一类别多个语义物体实例上的数千条机器人演示。
推荐理由:论文用单段人类RGB视频生成跨语义实例的机器人演示,并在两台实机四类任务上与遥操作数据训练的VLA策略对比。
T-WLA 提出一种世界-语言-动作架构,用共享视觉记忆同时指导动作生成与触觉修正。每次视觉更新时,视觉分支把当前图像、任务指令和检索到的历史整合为视觉记忆,用于生成基础动作;同一记忆被缓存给轻量触觉编辑器,结合当前动作块与触觉输入预测未执行动作的残差修正,无需重跑视觉分支。
推荐理由:论文提出用共享视觉记忆驱动轻量触觉修正器,避免视觉策略重算带来的延迟,可供接触密集操作研究比较。
Nuo Chen 与 Ya-Jun Pan 提出一套人机交互框架,用元学习训练的神经网络识别人处于主动引导还是被动跟随状态,不再依赖预设切换阈值。作者称把控制器中与力相关的参数纳入识别后,被动模式识别率从 90.1% 提升到 99.1%,主动模式从 79.8% 提升到 97.1%。
PhysCanvas 是一个面向接触密集机器人操作的视觉触觉世界模型,将多视角 RGB、触觉图像、标记位移、任务状态与动作统一到同一视觉空间,并共享视频 VAE 与预训练生成骨干。
推荐理由:论文把视觉与触觉统一进世界模型,并给出世界模型成功率与真实任务的相关性数据,可用于比较策略评估方案。
REACT 是一个从人人演示中学习可部署人形机器人交互策略的框架,把语义接触结构作为连接演示处理、交互学习与机载控制的监督信号。其中 VLM 引导的接触建模与重定向流程识别人人交互中的语义接触并迁移到人形机器人几何上,特权交互策略借助接触奖励学习行为后,被蒸馏为仅用机载传感的自我中心深度策略,并引入生成式伙伴状态建模以应对遮挡。
推荐理由:论文给出从人到人形机器人接触迁移并蒸馏为机载深度策略的完整流程,附仿真与Unitree G1实机结果。
研究在 Idealworks 的 iw.hub 实机上评测 NVIDIA X-Mobility 与 COMPASS 导航策略训练流程,并用 NVIDIA Cosmos 生成仿真到现实变体。
推荐理由:在 Idealworks 实机上对比数字孪生与 Cosmos 增强训练,给出成功率与耗时差距,可作为 sim-to-real 评测参考。
作者提出 SPAR(Search-trained Push Action Ranker),从仿真搜索结果中学习为推挤基元排序,用于可移动障碍物导航(NAMO)。
推荐理由:论文用仿真搜索结果为推挤动作排序,在仿真与实机上对比随机搜索,可看学习排序如何降低规划开销。
论文系统评测了 GPT-6 Astra 在轻量智能体执行框架下的闭环机器人操作能力,在 RoboDojo 上成功率为 26.92%,在 RoboTwin 2.0 上为 76.0%。
推荐理由:论文用五个基准和新增几何约束基准系统评测 GPT-6 Astra 的闭环操作能力,并指出语义推理与物理执行之间的差距。
论文提出 Safe Wrapper 算法,在机器人用入站链路数据更新状态时,基于各机器人异常检测器输出的信任值流,用 Safe Anytime-Valid Inference 筛选出可信链路子集。
作者提出两阶段框架 CPR,从多视角视频片段学习互补的预测几何表征用于具身操作。预训练阶段用冻结的 3D 基础模型提供稠密几何特征,压缩为预测几何表征并保留场景结构及其时序演化,再对几何转移施加动作监督提取运动表征;下游后训练通过几何查询迁移预测几何,运动表征引导动作生成路径上的中间特征。
推荐理由:论文提出两阶段框架,从多视角视频学习互补预测几何表征,并在 LIBERO、SimplerEnv 与实机任务上对比下游策略表现。
DirectWAM 通过动作充分蒸馏把预训练视频与动作专家转为单步预测器,在 LIBERO 四个套件平均成功率 97.1%、RoboTwin 2.0 上 85.4%,推理延迟较完整迭代教师降低 28.0 倍。
推荐理由:论文分析世界-动作模型中视觉预测误差对动作的影响,提出单步蒸馏方法,并给出仿真基准与实机任务结果。
针对球形移动建图系统(SMMS)快速旋转与地面覆盖有限的问题,提出两种基于RANSAC的地面法向量估计方法:单帧扫描估计(法向量打分加多步验证)和基于LiDAR-惯性里程计(LIO)全局3D地图的估计。在多个真实数据集上以地面激光扫描仪为真值评估,LIO方法在精度和鲁棒性上显著优于单帧方法。将地面法向量估计融入运动模型可改善位姿估计,支持挑战性与危险环境中的自主导航。
PACT-VLA 提出一种免训练框架,用推理起始观测生成候选动作块,再用提交前观测从中选出完整动作块,以缓解异步推理延迟导致的成功率下降。其 FlowRes 评分衡量候选隐含流方向与冻结策略在提交前观测下预测速度的残差,无需单独验证器;流水线实现使选择不增加控制步延迟。
推荐理由:论文针对异步推理的观测滞后问题提出免训练的动作块选择方法,并给出仿真与实机成功率对比。
EventSync 是一个分层框架,通过事件驱动的记忆更新协调任务推理与动作执行:视觉语言模型依据任务计划和交互历史生成子目标,视觉-语言-动作模型负责执行,轻量 Event Monitor 结合视觉观测与末端执行器轨迹判断当前子目标是否完成,只有取得完成证据后才写入已完成子目标历史并触发下一步推理。
推荐理由:论文提出事件驱动的子目标完成判定与记忆更新机制,并在 RoboMME 基准和四类实机任务上给出结果,可供做长程操作记忆的研究者参考。
研究提出一种带奇异恢复的高精度RCM伺服架构,用于通用机械臂在软件远心运动下执行眼科器械定位。作者将RCM与末端跟踪目标冲突导致的伺服振荡形式化为约束诱导任务奇异,即RCM投影后的末端雅可比降秩而未投影雅可比仍良态。
推荐理由:论文把眼科手术中RCM与末端跟踪冲突形式化为约束诱导任务奇异,并给出分层QP加恢复规划的实机验证路径。
作者提出一种验证引导的训练框架,用安全约束的概率枚举检测前向不变性违规,生成比标准对抗攻击方法更精确刻画失败边界的反例集。用该表示微调预训练的 HJ 值函数,在所有测试基准上得到更大的认证区域并缩短认证时间。作者还基于精炼后的证书设计部署期屏蔽机制,在基于物理的 Isaac Sim 环境和真实自主竞速实验中,相比标称控制器和基于线性二次调节(LQR)的备份策略实现零安全约束违规。
推荐理由:论文把安全约束枚举用于微调神经 HJ 证书,并在 Isaac Sim 与实车竞速中对比标称控制器和 LQR 备份策略。
作者提出一种多视角潜动作模型(LAM),用交叉注意力融合同步多相机视角以消解深度与遮挡,再压缩为潜动作,并接入由潜专家与动作专家经顺序流匹配耦合、冻结VLM骨干的策略。
推荐理由:论文比较多视角与单视角潜动作预训练在6D动作可解码性和跨本体迁移上的差异,并给出实机验证。
论文提出以自适应通行管道(ATT)、区间速度-航向(IVH)控制和侧步增强AMP运动先验为核心的双足人形机器人姿态感知导航框架,将几何间隙与社会舒适度统一为沿参考路径的连续宽度信号,并映射为正面到侧步的姿态调度与全向速度指令。
CovNav 是一个免训练框架,用共形预测把双过程推理变成不确定性感知决策:本地 LLM 快速判断目标是否在观测物体附近,仅将模糊查询升级到慢速思维链推理。在 Gibson 和 HM3D 上,CovNav 在 HM3D v1 和 v2 的成功率分别比最强零样本基线高 0.8 和 1.7 个百分点,仅对 12.4% 的查询调用慢推理,并保留大部分始终开启思考的收益。
Yosub Shin 等人提出用单个头戴相机(122 美元)替代腕部相机和位姿追踪器,通过读取无电子手套(22 美元)上的印刷标记与工作区纸片,从同一帧中解出 6-DoF 夹爪位姿和夹爪开度。
推荐理由:论文用单个头戴相机替代腕部相机与位姿追踪器,给出无电子手套的标注精度和策略成功率对比,可供数据采集方案选型参考。
EchoNav提出一种从短RGB序列预测证据式鸟瞰图(BEV)表示的视觉导航框架,结合时序聚合与占据补全,在最新自车坐标系下生成局部地图,无需深度或相机位姿输入,也不做显式几何变换。
推荐理由:论文给出基于历史观测的证据式BEV补全方法,并在仿真与轮式机器人上对比基线成功率。
Yubang Wang 等提出 Tactile-ETA,将触觉经验以上下文学习方式注入具身任务智能体,在不更新模型参数的情况下完成精细操作。系统把专家演示中的机器人运动与相机视图、双侧触觉观测配对,保留运动起止触觉图像并在触觉变化明显时加入两个相邻时间点。
推荐理由:论文给出触觉经验通过上下文学习进入具身任务智能体的方法,并对比仿真与实机成功率变化,可供触觉操作研究参考。
论文提出一套用加装机械臂的Boston Dynamics Spot四足机器人自主堆叠砖块的概念验证系统,在供料区与装配区之间依靠AprilTag定位和autowalk任务导航。
研究提出扰动感知的Koopman控制族(DA-KCF)框架,在部署时保持离线辨识的标称模型固定,仅用轻量残差集成从因果状态-指令-状态转移中在线学习低维扰动修正,并接入MPC沿预测时域评估修正量。
Arnav Grover 的预印本论文指出,GPT-6 Astra 通过 Inspect Robots 框架控制低成本 SO-101 机械臂执行三项危险常识明确的家庭任务时,15 次试验中拒答率为 0%,每次都尝试了危险动作,并在 27% 的试验中完成了危险动作。
推荐理由:研究用15次试验对比机器人控制循环中的拒答与执行差异,并给出可选的运行时安全检查方案。
一项人体志愿者研究使用6自由度Stewart平台机器人表征头颈系统的生物运动学工作空间,为精准头部稳定中的人机交互建立基础数据。该研究面向集成实时光学运动跟踪的6自由度机器人头部固定器,旨在无需物理约束即可动态补偿头部运动,替代刚性立体定向框架和热塑面罩等侵入性方法。
作者设计并运行了一种多模态四足飞行机器人,用控制收缩度量(CCM)构建统一控制框架。研究离线分别搜索行走与飞行的域特定收缩度量,再通过在线基于能量的CLF QP统一,实现跨域控制分配,并在仿真中展示。实验验证了硬件的机械可行性和推进器辅助小跑范式,作者称实验稳定性支持将该框架部署到多模态操作。
RadGeoLoc 提出用学习观测模型将旋转雷达测量对齐到卫星影像,实现不依赖 GNSS 的定位。方法用雷达里程计传播粒子滤波生成候选位姿,再由观测模型给出似然;雷达表征经掩码重建预训练。作者在覆盖城市与越野的 8 个数据集、31 条路线上评估,并利用同一路线 13 个月的重复穿越考察天气变化下的鲁棒性。
推荐理由:论文给出旋转雷达对卫星影像定位的粒子滤波方案,并在31条路线和13个月重复穿越中检验天气鲁棒性。
论文研究视觉语言动作(VLA)模型的失败归因问题,即判断去除某个视觉损坏是否会让当前回合受益,而非仅检测损坏是否存在。作者提出因子化风险模型,分别学习场景与损坏的表示,从当前图像和任务指令出发通过潜在干预估计去除收益,无需配对干净图像或额外反事实 rollout。
XoNav 提出一种四执行器髋部外骨骼,在髋关节处直接呈现前进、两级制动和两级转向的触觉提示。基于双侧 LSTM 的步态分类器用两个大腿 IMU 识别步态,对未见用户召回率为 95.2-97.9%,站立时抑制提示。在三条路径的蒙眼 Wizard-of-Oz 导航试验中,参与者行走距离的 98.8% 保持在 0.75 米宽通道内,每次试验平均前进速度提升 4.9%。
研究提出一种让配备摄像头的半自主机器人识别Shoebox Tasks任务目标并规划动作的方法,该系统用基于视觉的大语言模型将任务照片转换为PDDL表示并生成动作计划。Nao机器人可自主执行多种Shoebox Tasks,并通过动作演示、语音指令或手势提示下一步或报告检测到的失败。求解器仅以拍摄图像为输入,经适配的机器人接口可集成到多种教育机器人中,教师无需编程。
论文提出一种实时交互感知框架,利用嵌入式电容传感让仿壁虎干黏附界面在黏附全周期内估计接触状态,并划分空闲、接近、接触、啮合、脱离五种离散状态。基于实验采集并增强的传感器数据,六种轻量机器学习模型的对比中随机森林离线分类准确率最高,为95.65%。在线部署时随机森林结合规则状态机把准确率从78.02%提升到93.14%,宏F1为0.9343,推理周期53毫秒。
PICA-WAM 提出一种自监督训练框架,把视觉扰动不变性作为世界动作模型(WAM)的辅助跨外观自对齐任务。方法用指数滑动平均(EMA)教师处理原始观测并提供更深层目标,在线 WAM 处理受扰动观测,通过轻量投影头将较浅层动作表示对齐到该目标。
推荐理由:论文指出世界动作模型对任务无关视觉扰动敏感的训练缺口,并给出可迁移的自监督对齐方法。
论文在Harpy推力辅助双足机器人上实现基于二次规划的控制器,完成推力辅助小跑。控制器将推力辅助弹簧负载倒立摆动力学写成紧凑QP-MPC问题,以500Hz同时调节地面接触力与推力矢量,矢状面由QP-MPC控制、额状面由级联姿态稳定控制器调节。
论文提出 Prior-Informed Adaptation(PIA),一个离线到在线的基于模型强化学习框架,先在高保真与低保真仿真轨迹上预训练世界模型,再用不确定性正则化规划在目标域少量交互中完成适应。
推荐理由:论文提出用仿真轨迹作为有偏先验、在线校正残差的世界模型强化学习框架,并在真实赛车实机验证少样本适应。
日本团队在 arXiv 发布预印本,用嵌入受体模拟传感器的分层仿生机器人皮肤,物理对比生物启发与反事实的传感排布。在弱接触检测、类两点辨别和纹理识别三项被动触觉任务中,反映生物启发组织特征的排布表现优于所考察的其他配置。研究称该平台可在活体难以开展的条件下检验受体空间组织对触觉功能的影响。