NovaSplat:用3D高斯泼溅引导与细化实现无模型6D物体位姿估计
NovaSplat提出一种无模型6D物体位姿估计流程,仅用引导阶段拍摄的短智能手机视频训练3D高斯泼溅模型,该模型既作为检测与粗位姿估计的模板来源,也作为位姿细化的可微主干。
推荐理由:论文用手机短视频训练3D高斯泼溅表示,为无CAD模型的新物体6D位姿估计提供可复现流程。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
NovaSplat提出一种无模型6D物体位姿估计流程,仅用引导阶段拍摄的短智能手机视频训练3D高斯泼溅模型,该模型既作为检测与粗位姿估计的模板来源,也作为位姿细化的可微主干。
推荐理由:论文用手机短视频训练3D高斯泼溅表示,为无CAD模型的新物体6D位姿估计提供可复现流程。
Di Zhu、Ziheng Yan、Fang Wan 提出 ActionUNet,一个在预训练 VLA 模型上做高效多尺度微调的框架,用于缓解粗粒度语义与细粒度时序执行之间的对齐问题。
推荐理由:论文提出在预训练VLA上做多尺度微调的轻量框架,并给出π0.5在三个测试设置下的成功率提升幅度,可供比较微调策略。
研究通过度量3D融合将逐帧预测关联到持久世界空间位置,提出体素级评估框架,联合刻画语义一致性、语义信念漂移(SBD)、观测持续性(OP)与语义不确定性。在UAVid-3D-Scenes上的实验显示逐帧语义变化显著,高聚合世界空间一致性在重复观测支持不足时会高估时序稳定性;持续性分层分析表明复发体素语义分歧更大,该现象在两个分割骨干及不同体素分辨率、几何关联和时间采样密度下保持一致。
作者提出WNM-3D,一个面向连续视觉语言导航(VLN)的生成式世界导航模型,用冻结的前馈几何编码器从单目RGB历史提取跨视角表示,再经可训练的3D Scene-to-Token Adapter转为定长场景前缀,通过块因果注意力在联合去噪中持续提供给世界-动作Diffusion Transformer。
推荐理由:论文把3D场景几何作为持续条件注入世界-动作扩散模型,并给出GN-Bench与VLN-CE上的对照结果,可供比较世界模型路线。
CylindTrack 提出一种深度感知的圆柱跟踪-by-检测框架,联合建模全景拓扑与时间深度一致性,以应对等距柱状图像接缝处的坐标不连续和相对深度估计波动。方法包含深度-时间轨迹建模(DTM)、球面时空一致性学习(SSTC)与拓扑感知圆柱运动模型(TCMM)。
Minwoo Park 等人在 arXiv 发表预印本,提出等变扩散策略(EDP)的对称性感知引导框架。作者从理论上证明 EDP 的扩散过程具有等变性,并由此导出群不变的隐噪声 MDP,随后在对称性程度不同的任务上比较标准、等变与近似等变三种强化学习引导策略。
该预印本提出一个 real-to-sim-to-real 框架,通过代理辅助逆向设计与不确定性引导修正,把生物曲线转成线驱动模块化软体机器人的构型。学习得到的前向代理模型把形变预测时间从 1.53×10^5 ms 降到 0.0008 ms,约 1.9×10^8 倍加速;逆向设计时间从 1.99×10^6 ms 降到 4.18 ms。
推荐理由:论文给出用学习代理模型替代物理建模做软体模块机器人逆向设计的思路,并报告了加速比与重建成功率。
作者提出 HumiTransfer 框架,将野外人人交互视频转换为物理合理的人-人形机器人交互动作,并据此构建 HumiMimic 数据集。该数据集覆盖 26 自由度 Unitree R1 Edu 与 23 自由度 HighTorque Mini-hi 两款机器人,由 1200 段视频生成约 50 万帧交互数据。
推荐理由:论文提出从野外人人交互视频迁移到人形机器人的框架,并构建约50万帧数据集,可用于比较跨本体动作迁移方法。
作者提出 CALM(Cooperative Aerial Learned Manipulation),一种让多架无人机协同携带篮筐、跟踪移动地面机器人的分散式控制器。
推荐理由:论文给出多无人机协同吊运篮筐的分散式控制方案,并与机械臂基线在位置和姿态误差上做了对比。
研究提出 MOVER,一个多阶段 Teacher-Assistant-Student 强化学习框架,用于人形机器人物体搬运。该方法先用 GENMO 和 GMR 重定向视频数据并做数据增强,再分三阶段训练,最后用 Dagger-PPO 蒸馏去掉本体位置观测和参考关节位置,使部署策略依靠机载 RGB-D 相机感知物体位姿。
推荐理由:论文给出从视频数据到实机部署的三阶段强化学习框架,可用于比较人形机器人搬运策略的空间泛化路径。
OmniDex提出可扩展的seed-and-filter策略,构建了包含超260万场景和0.4B场景特定抓取真值的杂乱场景灵巧抓取基准。研究同时提出OmniDex模型,通过Soft Winner-Takes-All学习、类人物理约束训练和物理驱动排序,避免后优化延迟。实验称该模型在多样场景、视角和未见物体上取得state-of-the-art性能与较强泛化。
推荐理由:论文同时给出260万杂乱场景抓取数据集与OmniDex模型,可用于比较仿真数据规模与灵巧抓取泛化路线。
EmbodiRSI 是一个在真实到仿真再回真实流程中做递归自改进的智能体系统,用任务专属仿真作为低成本环境迭代改进策略后再迁回物理世界。在三个桌面环境和 14 个子任务上,经过两轮 RSI 更新,场景均衡的自主仿真成功率从 50.4% 提升到 83.5%。
推荐理由:论文给出真实到仿真再回真实的递归自改进流程,并对比少量真实数据与大量真实演示的适配效果。
So Kuroki 等人在 arXiv 预印本中提出把完整闭环机器人实现当作可复用的执行经验,由编码智能体从少量成功演示生成策略代码,并用仿真反馈迭代改进。在 RoboCasa 的四个源任务上,成功率从初始生成代码的 28.3% 提升到验证筛选代码的 64.2%,该方法还在 Unitree G1 实机上做了验证。
推荐理由:论文把闭环策略实现当作可复用经验,用 RoboCasa 四任务与九个迁移任务的对照数据说明源码优化与跨任务迁移的关系。
作者提出证据获取与可行性门控框架 EAFG,让 VLM 生成子目标、机器人执行 TAMP 规划的动作序列以获取视觉证据,再据此决定继续任务规划、继续获取证据还是停止。在三个烹饪场景(明确指定所需物体、指令欠明确、所需物体缺失)中,EAFG 在明确与欠明确场景下任务完成情况优于 VLM-TAMP 基线,并在所需物体缺失时能适当停止。该工作为 arXiv 预印本(arXiv:2608.20084)。
推荐理由:论文提出用视觉证据门控 VLM 子目标与 TAMP 规划,并在三个烹饪场景中与 VLM-TAMP 基线对比,可供关注长程操作规划的研究者参考。
论文提出免训练测试时纠错框架RTCF,通过渐进记忆对齐(PMA)为冻结VLA策略检索成功轨迹,并在动作块运动通道上迁移系数裁剪的低频残差,高频成分与夹爪决策仍由原策略给出。
EgoHTR数据集发布,用第一视角可穿戴设备与便携3D扫描仪采集了55段场景对齐的4D人体运动序列,覆盖多样复杂环境,共超过15万帧。作者称该数据在运动捕捉真值对比中达到当前先进精度,并据此训练感知式运动策略,在Unitree G1上完成重建参考动作的硬件部署。重建流程已开源,支持社区扩展数据集。
推荐理由:该数据集用第一视角可穿戴设备与便携3D扫描仪采集55段场景对齐的4D人体运动序列,并给出实机部署结果,可供人形机器人在非结构化地形上的学习研究参考。
作者提出 Mixture of Frames Policy(MoF),一种在多个坐标框架间同步进行动作去噪的扩散策略,通过单一规范扩散状态、框架专用去噪器和噪声预测融合实现。
推荐理由:论文提出跨多个坐标框架同步去噪的扩散策略,并在九个仿真任务和两个实机任务上比较单框架基线。
论文提出一种参数化消息传递算法,用于分布式协同定位,将高斯置信传播用于机器人状态估计、平均场近似用于噪声推断。方法直接优化置信的自然参数,并设计基于归一化流的梯度估计器实现可学习采样,端到端训练按消息传递行为调节归一化流参数,同时扩展到李群空间以处理旋转。
Arsh Chawla 与 Rahul Shome 提出 RE4 框架,用操作模式理论检索并变换演示数据,以可解释的四步流程完成物体交互模仿学习。该框架包含模式感知的演示检索、模式感知变换,以及保持模式约束并连接检索点的重规划步骤,最终返回变换后的演示用于 rollout。
推荐理由:论文把操作模式理论用于演示检索与变换,在仿真基准和实机实验中检验可解释策略的鲁棒性。
RPO-PDT 是一款具身对话智能体,能根据当前参与者切换对话角色:支持学生时担任个人发展导师(PDT),教师演练辅导策略时则扮演模拟学生。系统通过自愿的闭集参与者验证驱动置信度控制的角色管理器,已注册教师稳定匹配时激活学生角色,已注册学生和未匹配者使用默认 PDT 角色,观测不确定则不切换。
FlowS提出局部传输条件化,用条件流匹配框架实现单步生成式运动预测。该方法包含两个机制:在线场景条件学习先验为每个智能体输出K条已接近合理未来的锚定轨迹,把模式发现转为局部修正;步一致位移场通过半群自一致性保证单步继承多步精度。
推荐理由:论文提出局部传输条件化,把单步生成式运动预测的精度与低时延同时纳入,并给出Waymo数据集上的对比结果。
AffordSim 是一个将开放词汇3D可供性预测集成到仿真轨迹生成中的数据生成器与基准,可根据自然语言任务描述合成场景、生成可供性查询并采样区域条件抓取,再用运动规划筛选可执行候选。
推荐理由:论文给出将开放词汇3D可供性预测接入仿真轨迹生成的数据生成器与50任务基准,可用于比较可供性感知操作的数据构建方式。
SwarmCoDe 是一个协同协同进化算法(CCEA),把群体分解纳入优化过程,无需预先指定物种数量,联合优化机器人硬件、任务规划行为、合作关系与部署群体构成。
作者提出开源低成本桌面社交机器人平台 M,目标是降低社交机器人研究的复现、改造与部署门槛。M 采用模块化机械设计、多模态感知和机械结构简单的表达驱动,配套 ROS2 原生软件包,将感知、表达控制与数据管理分层,并提供与硬件接口一致的仿真环境以支持交互行为的 sim-to-real 迁移。
作者提出潜空间策略引导(LPS),将原始动作空间的Q梯度通过可微的一步MeanFlow策略回传,以更新潜动作空间actor,从而省去代理潜空间critic。该方法让原始动作空间critic端到端引导潜空间优化,同时以一步MeanFlow策略作为行为约束的生成先验。
推荐理由:论文提出用可微一步MeanFlow策略回传原始动作空间Q梯度,省去代理潜空间critic,为离线RL策略改进提供可迁移思路。
Marc Toussaint 等人提出一种状态采样器,将约束流形上的采样用于重置状态分布,以提升接触丰富操作任务中目标条件强化学习的探索效率。该方法结合约束采样重置、投影插值和课程学习,作者称其优于无约束采样的强化学习及替代重置方法,并在全身与手内接触丰富场景中训练出通用、抓取与非抓取操作策略。论文被 CoRL 2026 接收,项目页面提供视频与完整源码。
推荐理由:论文把约束流形采样用于重置状态分布,为接触丰富操作中的强化学习探索提供了一种可迁移的训练思路。
作者提出 MoVLR 框架,利用视觉语言模型在控制优化与 VLM 反馈之间迭代探索奖励空间,为高维肌肉骨骼系统的运动与操作发现和细化奖励函数,而非依赖手工设计奖励。该方法把语言和视觉评估转化为具身学习的结构化引导,论文称结果说明 VLM 能把抽象动作描述对应到生理运动控制中的隐含原则。该工作已被 L4DC 2026 接收,arXiv 编号 2512.23077。
推荐理由:论文提出用视觉语言模型迭代反馈来发现高维肌肉骨骼系统的奖励函数,可了解语言目标如何转成控制奖励。
一篇被npj Robotics接收的94页综述系统梳理了接触密集机器人任务的安全学习方法,将其分为安全探索与安全执行两大类。文章回顾了约束强化学习、风险敏感优化、不确定性建模、控制屏障函数和模型预测安全盾等技术,并重点讨论这些安全原则如何延伸到VLM与VLA基础模型,包括语言级约束指定与安全信号多模态落地带来的新机会和放大风险。作者同时列出当前局限与面向复杂接触环境的未来方向。
推荐理由:综述把接触密集任务的安全学习拆成安全探索与安全执行两类,并讨论这些原则如何延伸到VLM/VLA基础模型。
OmniVIC 提出一种由视觉语言模型增强的通用变阻抗控制器,从图像和自然语言推理任务上下文并生成自适应阻抗参数。其核心是自改进的检索增强生成与上下文学习,从结构化记忆库检索相似历史经验,并结合实时力/力矩反馈把交互力约束在安全阈值内。作者称在仿真和实机复杂接触任务上优于基线,平均成功率从 27% 提升到 61.4%,力违规减少;该工作已被 IEEE Humanoids 2026 接收。
推荐理由:论文把视觉语言模型的上下文推理接入变阻抗控制,并给出仿真与实机任务的成功率对比,可供关注语义推理与柔顺控制衔接的研究者参考。
一项预印本研究在宇树 H1-2 上考察期望手腕位置的构造方式如何影响计算出的机械臂关节角是否触及限位。重建目标由演示的手臂方向和机器人连杆长度构成,其肩到腕距离取决于演示的段间夹角;可达归一化目标保留方向并重新缩放距离,两者使用同一批处理后的演示和同一关节角方法。
DexSuite 是一个基于 Genesis 模拟器的开源一体化灵巧操作仿真框架,提供 30 个任务,并把 10 种机械臂与 12 种末端执行器(从平行夹爪到灵巧手)组合成 100 多种单臂机器人和数千种双臂组合。
推荐理由:该框架把机械臂、末端执行器、任务、遥操作与触觉仿真整合进同一套开源环境,并给出基准与示范数据集。
SwapBot 是一套模块化、以工具为中心的末端执行器系统,用低成本适配器把常见家用工具快速转换为机器人末端执行器,并支持快速自主更换。每个适配器集成紧凑触觉传感器,并接入遥操作系统用于采集演示;用户研究显示遥操作时任务完成时间和操作者负担均降低。
推荐理由:论文给出可换工具末端执行器与触觉传感器的硬件方案,并用消融实验比较触觉对接触密集任务策略的影响。
SymAnt 是一种神经符号方法,把神经网络与场景图、知识图的符号推理结合,从短观测视频预测长时程未来动作序列。该方法对两张图做联合搜索构建符号上下文,作为迭代精化过程的先验,并允许用户直接编辑底层知识来调整预测而无需再训练。
作者提出Gym-Anything for Robotics框架,让编码智能体创建机器人仿真,以缓解仿真构建依赖专家、难以规模化的问题。他们依据美国GDP数据挑选覆盖有经济价值体力工作的场景,定义良好仿真与任务的标准,并设计对抗式创建-审计循环逐项检查。基于该流程构建的RoboWorld包含25个仿真,以及难度不同的25个测试和175个训练强化学习环境;最好的前沿模型在所有RoboWorld测试任务上均失败,平均奖励仅0.06。
推荐理由:论文提出用编码智能体自动生成机器人仿真环境,并给出25个仿真与200个RL环境的基准结果,可供比较仿真规模化路径。
PhysVLMM 提出一种为视觉-语言-运动地图中每个铰接部件维护物理信念并回答规划器查询的方法,包含地图更新与查询两个算法。该方法把拉动方向保留为后验而非点估计,并将每次拉动的证据以闭式形式传递给地图中未被触碰的相似部件,还能在给定风险下回答动作是否成功或选择弃答。
推荐理由:论文在18个真实家庭的门和抽屉上验证关节类型识别与拉动响应预测,并给出与可微仿真在误差和速度上的对比。
作者提出 DAWN(Diffusion-based Alignment and unfastening Workflow Network),一个面向真实世界拆螺丝任务的分层机器人框架,将流程分为对齐插入与拧出两个阶段。
推荐理由:论文把拆螺丝长程任务拆成对齐插入与拧出两阶段,并在 Franka 实机上验证,可供接触密集操作研究参考。
Jingxu Gu 与 Dongze Lian 提出 DEED 框架,通过结构化演示扩展与执行设计,将预训练视觉-语言-动作策略适配到 MetaFine 的五项细粒度操作任务。
Liangyu Li 与 Qingwen Liu 提出连续动作世界模型 CoAWM,用于学习跨本体、跨执行频率的时空动力学先验,以支持机器人动作生成。该方法先通过函数预训练把不同本体和采样频率的轨迹映射到共享隐函数空间,借助动作重建与时间采样视图间的一致性学习共享动力学先验。
作者提出HiFOR,一个带动作引导世界检索的分层预见框架,用于视觉-语言-动作模型。该方法通过分层依赖掩码联合预测短期状态演化、语义里程碑和最终目标状态,并用结构感知潜在世界建模与动作引导因子化世界检索为动作生成提供针对性引导。作者称在两个仿真基准和六个真实机器人操作任务上验证了方法有效性。
推荐理由:论文把短期状态、语义里程碑与最终目标纳入统一分层预测,并用动作引导检索未来信息,可供VLA策略设计参考。
研究在 MuJoCo MJX 上对五台 3D 四足机器人(闭链 W01-TEK、开链 Unitree Go1 与 Go2、Google Barkour vB、Boston Dynamics Spot)统一评测十四种 UED、域随机化与机器人课程方法,所有课程驱动同一 PPO 学生并在匹配的环境步数预算下比较。