GelSlim 5.0:用单指尖相机统一视觉与触觉感知
GelSlim 5.0 是一种指尖传感器,用单个固定相机和连续 UV 响应接触层,通过切换照明在同一视角依次采集透膜视觉图像与接触敏感触觉图像,从而避免多相机外参标定。
推荐理由:论文提出单相机指尖传感器与多模态融合方法,并给出12个已知物体上的实机对比数据,可供触觉感知研究参考。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
GelSlim 5.0 是一种指尖传感器,用单个固定相机和连续 UV 响应接触层,通过切换照明在同一视角依次采集透膜视觉图像与接触敏感触觉图像,从而避免多相机外参标定。
推荐理由:论文提出单相机指尖传感器与多模态融合方法,并给出12个已知物体上的实机对比数据,可供触觉感知研究参考。
研究提出一种双环辅助策略,将多模态外骨骼轨迹生成与可变导纳控制耦合,以轨迹方差连接外环生成器与内环控制器。生成器主要依据全身人体运动和外骨骼本体感知、以任务描述为辅助语义线索,通过去噪合成未来外骨骼轨迹,并采用三阶段训练流程逐步优化人体运动编码器、外骨骼本体感知编码器和轨迹生成器。
arXiv 论文《Learning Robot Behavior Priors from Non-Robotic Synthetic Data》研究仅用无具身系统的数据能否让模型获得机器人学习所需结构。
论文提出Joint-CI,一种用于点特征、物体特征及混合点-物体地图的分布式右不变EKF SLAM统一融合方法。该方法在接收机器人的误差坐标中构造其位姿与公共特征的联合估计,保留机器人-特征和特征-特征相关性,再用部分状态协方差交集与本地后验融合。
Inside-JEPA 在 JEPA 潜状态中为有序实体对加入关系通道,并表明当逆动力学损失的头读取这些通道时,无需关系标签即可将其定位。
论文提出WholeBodyMem,一种物体引导的感知记忆,用于解决全身VLA策略在动态场景中只能看到当前帧、物体线索易消失的问题。该方法用SAM3跟踪任务物体,由物体事件在自适应预算内因果选取关键帧,动作专家通过交叉注意力读取这些帧及编码外观、几何和时间的物体token。
推荐理由:论文提出面向人形机器人全身VLA的物体引导感知记忆,并给出仿真与实机基准,可用于比较记忆机制对长时序操作的作用。
研究提出一种扩展卡尔曼滤波方法,可同时估计IMU相对姿态与传感器位置,无需离线传感器位置标定,也不依赖全局朝向锚点。在OpenSense数据集四名受试者、三类下肢关节、步行及多种复杂任务的真实IMU测量中,该方法整体相对姿态误差为2.61°,使用离线估计传感器位置的基线为10.40°,使用标记点推导传感器位置的基线为7.43°。
该章节将养老院与私人住宅同框为布局杂乱、需求多样且缺乏现场技术支持的极端人机交互环境,综述了辅助日常生活、安全监测与社交互动的具身及非具身系统,并关注机器人与固定及可穿戴传感器互补的混合部署。
作者提出 RGraph-Eval,一个基于参考演示的机器人视频生成评估框架,用任务场景图显式暴露物体错移、抓取消失、放置偏离等交互错误。该框架将任务实体、交互与运动组织在统一可解释的场景图表示中,由基础模型流水线识别操作角色、定位物体掩码、推断并核验状态转移与动作区间,并重建被操作物体的三维运动。
推荐理由:提出以任务场景图评估机器人视频生成,把物体、关系变化与三维轨迹纳入统一表示,并配套1000个场景数据集。
研究比较多专家扩散轨迹规划器在未见区域是选择已有专家还是让规划器自身适应。在三个真实留出地图上,八种测试时路由方案均未改善车队平均横向偏移,优于静态默认;即使按场景选最优专家的 oracle 也只降低 0.9 m。
AstroBench 是一个面向固定基座机械臂自由漂浮捕获与空间机器人操作的开源基准,包含两个工作单元、九项任务定义和 29 组任务目标组合。
论文提出一套面向2.00千克倾转旋翼四旋翼的仿真飞行栈,用级联PD控制器指令前后与侧向倾转角,并以14状态EKF在悬停、过渡初期和过渡模式间融合传感器数据。由于比例位置环在恒定风下存在稳态偏差,作者在未改动的PD控制器上叠加小型有界神经残差,通过行为克隆从可访问真实风速的教师网络训练,部署网络不观测风速。
研究提出多模态进度残差融合模型MPRF,用操作指令、电磁跟踪和内窥镜视频预测柔性机器人内窥镜操作者何时回退。在150个回合的结肠体模数据上,MPRF三次随机种子平均AUPRC为0.580±0.007,最强降模态对照为0.511。作者称完整多模态历史是排序优势的主要来源,残差项带来的增量较小且不确定。
一项基于示教的机器人喂食框架将人类示教、动态运动基元运动规划、视觉场景感知与机器人控制集成,由操作者用动作捕捉系统记录勺子的位置与欧拉角姿态,轨迹被分割为舀取和喂食两段并分别编码。
研究对比了三种基于ChromaDB的语义检索路由策略与云端1200亿参数大模型在机器人工具选择任务上的表现,评测集为164条人工标注提示,覆盖单工具到需至少三个工具的复合请求。CDB-v3在纯检索方法中宏平均得分最高,为0.7822,大模型基线为0.8869。大模型路由质量更高,但CDB-v3延迟显著更低且可本地部署、无需云连接。
该研究提出一个面向腹腔镜机器人操作的状态到视觉策略蒸馏框架,以带特权状态观测的状态策略作为教师,让视觉策略从RGB观测和机器人本体感知信息中学习。作者在仿真环境的多项手术操作任务上实验,结果显示通用强化学习方法训练视觉策略较为困难,而所提蒸馏方法在各任务上表现更一致、更稳定。该方法所需专家演示少于模仿学习,性能优于强化学习方法。
论文提出TRACE,一个面向地面机器人在非结构化森林环境中自主运行的可通行性感知反应式导航框架。它用正负自然语言提示集生成VLM置信图,经证据融合得到稠密可通行性地图,再提取可通行点并通过百分位分箱与样条或正则化多项式拟合得到左右边界,作为软约束加入NMPC。作者称在真实森林环境中的实验显示,TRACE能在杂乱、可变形和视觉歧义地形中平滑导航。
推荐理由:论文把VLM置信图与证据融合、NMPC软约束结合,为林间非结构化地形导航提供可迁移方法。
上海交通大学等团队提出 UniFlowWAM,将3D场景流作为与视觉、动作并列的第三模态,构建统一世界-动作模型。该模型采用扩散Transformer,每个模态一个专家,通过联合注意力交换信息,并在十目标角色网格下训练,同一模型可充当策略、前向与逆向动力学以及未来视觉特征或3D流预测器。
推荐理由:论文把3D场景流作为与视觉、动作并列的第三模态,并给出仿真与四项实机双臂任务的对比结果。
作者提出 Soft-Object World Model,用 transformer 骨干在大规模仿真软体交互数据上训练,通过上下文学习从变长部分点云历史推断潜在形状与材质线索,实现生成式全状态估计和动作条件动力学预测。
推荐理由:论文提出用上下文学习从部分点云历史推断软体衣物形状与材质,并跨本体泛化,为软体操作的世界模型路线提供参考。
IORA 提出一种支撑面感知的抓取合成框架,面向低自由度耦合手实现不规则物体的固定。该方法把手与物体局部表面区域表示为图并搜索运动学可行的匹配,再细化腕部位姿与电机状态,并通过物理仿真 rollout 验证抓取。实验显示该方法能生成多种抓取构型并取得较高抓取成功率和抗扰动能力,真实实验在烹饪场景中演示了可物理执行的抓取。
论文发布 iAssistADL 三自由度上肢助动平台,面向未来日常生活活动中的震颤与共济失调补偿。该平台将所有执行器置于基座以降低运动质量并提高机械透明性,控制上在水平面采用开环力渲染、垂直方向采用闭环力控制。实验显示水平面阻力矩低于 0.1 Nm,工作空间内末端力可达约 10 N,水平力渲染在 4 Hz 内保持准确,垂直轴在高频段仍受摩擦动态限制。
LocoManiLab 提出一个覆盖数据采集与生成、策略训练、评估和物理部署的人形机器人移动操作统一测试台。其任务套件包含五类家庭场景下的 234 个原子与组合任务,配有 51.5 小时仿真遥操作数据;评估覆盖十二个策略在共享控制器下的任务与场景划分及扰动水平、两个策略在五种控制器下的表现,以及示范规模和数据来源混合的研究。
推荐理由:该预印本把数据采集、策略训练、评估与实机部署整合为统一测试台,可用于比较不同策略与控制器在扰动下的泛化差异。
研究用配对仿真器与 LeWorldModel(LeWM)响应,在三种扰动尺度下以 Gram 矩阵测量动作敏感性。在 Reacher 和 OGBench Cube 近千个状态中,最小尺度下最敏感动作方向的中位夹角分别约 36° 和 42°;扰动放大十倍后,Reacher 与 Cube 的中位归一化 Gram 差异分别降低约 70% 和 47%。
ProTrav提出一种概率地形表示,用函数空间采样生成空间相关的地形实现,并将高程不确定性传播到可通行性代价。方法先用稀疏变分高斯过程(SVGP)从观测重建概率高程场,再通过后验函数空间采样保留相邻位置的空间依赖,得到任意位置可通行性代价的均值与标准差,并以基于矩的上置信界(UCB)定义风险项接入MPPI控制器。
推荐理由:论文把高程不确定性经非线性映射传播到可通行性代价,并用风险项接入MPPI控制器,可供越野导航研究比较。
TEAR 是一个可在机器人端部署的框架,在人类遥操作与本地自主之间分配控制权,依据网络状态证据和任务语义证据决定何时切换。作者称在动态网络条件下的仿真与实机试验中,TEAR 的任务成功率接近纯遥操作,同时把遥操作限制在 19.8%–27.4% 的控制步数内,在其设置下比纯自主执行的成功率提升 30%–40%。
推荐理由:论文把遥操作与本地自主的切换建模为控制权路由问题,并给出仿真与实机试验中的成功率与遥操作占比数据。
论文提出 STAMP 框架,通过 Robot-to-Human-to-Robot 流程把独立采集的人形机器人动作连接成连续序列。其核心是学习到的对齐模型,在动作重定向到人体骨架后为后续动作排序候选位置、朝向和过渡时长,再由人类运动先验在选定对齐下生成过渡。作者在 Unitree G1 和 ROBOTIS K1 上评估生成过渡的跟踪成功率,并用实机演示展示 STAMP 将独立动作连成长时程序列。
推荐理由:论文提出用人类运动先验衔接独立采集的人形动作,并在 Unitree G1 与 ROBOTIS K1 上评估跟踪成功率。
论文提出ALMA空中移动操作框架,用上下文飞行策略适应机械臂外部指令,并通过LLM分析控制难点、生成新的机械臂运动结构用于后续训练。仿真中位置RMSE相对最强基线最多降低24.7%,同一策略零样本迁移到真实空中机械臂后,在周期性机械臂运动下悬停位置RMSE相对真实世界基线降低79.6%。
推荐理由:论文提出用LLM分析控制难点并生成机械臂运动结构,为空中作业的自适应飞行控制提供可迁移的训练思路。
研究提出EBV-CAN,一种结合初始全局鸟瞰图、内窥镜观测与电机状态的视觉语言策略,用于柔性内窥镜的接触辅助导航。团队构建VLCA数据集,包含517条演示、75k动作样本、958k空间条目和93k剩余路径记录;在50个留出回合中,尖端坐标与路点定位分别达到97.5%和94.8%。
推荐理由:论文给出内窥镜接触辅助导航的视觉语言策略与VLCA数据集,并对比动作模仿与任务完成两类指标。
针对现有实际因果框架仅支持离散二值因果模型、无法刻画系统输入连续变化的问题,研究提出距离加权实际原因与距离加权责任度,使因果影响计入避免故障所需的变化幅度而非仅计数。基于该概念给出高效、系统无关的解释推导算法,以距离加权责任度引导解释搜索。在两个自动驾驶仿真器的多个环境中用黑盒神经控制器实验,结果显示该扩展比现有离散方法提供更有效的引导。
一项 arXiv 预印本研究考察流匹配 VLA 机器人策略中欧拉积分的单步与多步采样差异,作者在六个流匹配 VLA 上发现,模型训练充分且容量足够时,单步动作生成大体可匹配多步采样,多步积分在推理阶段几乎没有一致优势。作者据此指出,对大型 VLA 而言,单步策略可直接从多步模型获得,无需重训练、蒸馏或额外辅助目标,从而支持低延迟部署。
推荐理由:该预印本在六个流匹配 VLA 上比较单步与多步采样,为低延迟部署是否需要额外训练目标提供实证参照。
论文提出一种图像到操作的流程,在自主操作缝合线时同步生成缝合线的实时重建,并执行安全且优化的连续操作以完成长时序任务。作者指出,可变形缝合线没有固定位姿可跟踪、自由度近乎无限,其状态需要重新估计而非假定;缝合线操作又依赖过去与当前的接触点,必须被准确、连续地跟踪。
推荐理由:论文针对缝合线这类可变形物体提出边重建边操作的图像到操作流程,可供关注可变形物体操作的研究者参考。
Co^2Gen 提出一个框架,用去中心化协作规划方法生成可执行函数形式的多机器人协作计划,再据此产出协作演示数据,以去中心化方式微调 VLA 模型,无需人工遥操作。作者称,用这些数据微调后的 VLA 模型在去中心化协作任务上的表现,与用人工遥操作协作数据微调的模型相当。该工作针对 VLA 模型与其他机器人及人类协作能力尚未被充分探索的问题。
推荐理由:论文提出用去中心化协作规划自动生成多机器人演示数据,免去人工遥操作,并与人工遥操作数据微调效果对比。
作者提出GlobMP(Global Motion Planning),一种在分段多项式曲线上运行的梯度投影方法,将运动规划与引导统一为连续时间规划问题,使约束在运动全程而非采样点成立。
推荐理由:论文提出连续时间运动规划方法GlobMP,并给出全局收敛性分析,可用于理解学习策略与规划器之间的约束修正关系。
论文提出 CMAR-search 框架,基于常识与记忆增强推理(CMAR)构建功能化3D场景图 F3DSG,将环境组织为功能区域及其关联容器。该表示支持宏观区域与微观容器两级分层动作规划,并持续融合实时感知、累积记忆与常识,以应对物体被移动等环境变化。作者称在仿真与真实环境实验中,该方法在动态交互环境物体搜索的成功率和搜索效率上均超过现有基线。
作者提出 PATH-Net,一种偏好感知的分层可通行性估计网络,可为越野遥操作自适应生成偏好条件下的可通行性代价地图与速度曲线。该方法融合视觉与几何鸟瞰特征及短期历史车辆状态,用最大熵逆强化学习和稀疏速度监督推断代价地图并优化速度建议,再通过非对称特征聚合把操作员偏好拆入代价分支与速度分支。
作者提出在线锚点中心场景推理系统 OASIS,用稀疏锚点节点统一存储语义描述、视觉特征与几何状态,支持在线建图、复杂开放词汇检索和导航。系统复用导航中采集的瞬时观测,对场景变化后移动的物体重新定位,并以紧凑记忆按需提取证据、做分层检索。仿真与真实环境实验覆盖标准检索基准及静态、动态导航任务,结果显示其可完成开放词汇检索与导航并重定位位移物体。
Wei Zhang 等人提出 CARE,一个由 critic 引导的自适应执行框架,动态决定何时将控制从本地执行器升级到更强的云端模型。轻量 critic 模型监测执行可靠性并在本地执行不可靠时触发升级,升级后控制持续到智能体恢复,避免逐步切换;共享 handoff memory 在切换时保留执行上下文与任务进度。
推荐理由:论文提出本地执行与云端模型之间的动态升级机制,并给出成功率与动作间隔时延的对比数据,可供云端-本地协同部署参考。
论文提出时空重定向方法 STR,用视觉语言模型选择相关运动信号与身体部位,并据此识别关键帧,把更多求解器迭代分配给关键帧、给选定部位更高交互权重。作者还提出 Mechanics-Aware Contact Anchoring(MCA)借助近似物体力旋量模型细化物体表面接触位置,并基于所得参考轨迹构建时空强化学习 STRL,结合自适应关键阶段采样与基于目标接近度的接触位置奖励。
推荐理由:论文用视觉语言模型挑选关键帧与关键身体部位来分配重定向优化预算,并给出仿真与实机验证,可供人形机器人全身控制参考。
研究在CARLA仿真风险汇入场景中评估将基于知识图谱嵌入与贝叶斯推理的车道变换预测接入自动驾驶决策的效果,预测模型可提前约3-4秒预判周边车辆变道。反应式驾驶在代表性记录中发生碰撞并伴随急减速,而基于预测的纵向与横向策略均避免碰撞,碰撞前峰值减速度分别降低31.5%和91.0%。研究还用基于ISO 2631-1的水平振动估计给出乘坐舒适性评估。
PhysibleMDM 提出在推理阶段优化扩散噪声,无需重新训练生成模型,即可提升运动扩散模型输出的物理可行性。该方法用运动学检查(地面穿透、滑移、自碰撞)和以内点锥规划求解逆动力学的动态可行性测试构造替代约束,再用 Sep-CMA-ES 求解黑盒噪声优化问题,并以自回归方式拼接长序列。