EgoContact:用第一视角视频评估物理智能的接触点预测数据集
EgoContact 是一个大规模第一视角数据集,用于通过未来接触点预测评估学习到的操作先验的泛化性与精度,包含 22.5K 条人工核验的交互事件,每条含接触前观测、语义意图和像素级接触位置。
站内阅读 ↗PAPERS / 研究文献
具身智能历史论文精选与持续收录的最新研究。
按发表时间浏览论文与研究;新论文沿用日常评分、中文摘要及符合条件的全文翻译规则。历史收藏继续保留原文。
EgoContact 是一个大规模第一视角数据集,用于通过未来接触点预测评估学习到的操作先验的泛化性与精度,包含 22.5K 条人工核验的交互事件,每条含接触前观测、语义意图和像素级接触位置。
站内阅读 ↗论文提出执行器感知(AA)观测器输入,用于四旋翼采样级联线性自抗扰控制(LADRC):高度与姿态观测器使用经假定旋翼模型滤波、并与测量延迟对齐的受限虚拟输入,水平观测器使用由实测姿态重建的加速度。
站内阅读 ↗作者开源ReSTEP数据集,包含两个操作任务的3156条轨迹,带语义阶段标签和帧级错误标注,覆盖成功执行、失误与恢复过程。基于该数据集,作者提出在线进度估计器REMORA,结合循环视觉记忆、分布预测和因果峰值选择来跟踪任务进度。在两个ReSTEP任务上的实验显示,REMORA在进度准确率和时间一致性上优于SARM基线。
站内阅读 ↗作者提出 CAPTURER 灵巧空中机械臂,用于在多种环境下实现厘米级抓取。系统包含机载感知与目标检测、漂移校正与全局位姿变换、协调飞行平台与机械臂的协同运动规划,以及补偿动态耦合、模型不确定性和外部扰动的抗扰控制器。室内外静态与移动目标实验显示,其在超过 1.5 m/s 的飞行速度下对直径仅 1.5 cm 的记号笔实现厘米级抓取精度。
站内阅读 ↗论文提出 Tactus,一款织物集成传感手套,同时提供指尖触觉力感知与抗遮挡手部位姿追踪,用于采集自然状态下的人手操作演示数据。其指尖堆叠厚度为 1.5 mm,在 95% 置信度下最小可检测力为 0.59 N,比两款商用触觉手套基线低 1.6 至 2.7 倍,跨参与者一致性为 0.87;操作过程中遮挡最严重时指尖关键点相对误差为 11.0 mm。
站内阅读 ↗Jiahe Wang等提出一种嵌入式形状感知框架,用IMU与执行器反馈经神经网络重建连续体机器人形状,以400 Hz提供形状反馈用于物理闭环控制。在一段与三段连续体机器人上训练超过5000个模型后,所选框架的全局形状误差分别为0.9%L和1.7%L;闭环控制中一段末端跟踪误差为6.1%L,三段形状控制全局误差为2.3%L,而使用相同未补偿测量的IMU-PCC重建则失败。
站内阅读 ↗Qiyang Li、Sergey Levine 等提出 Data Inoculation(DI),一种共享控制数据采集框架:人类提供闭环遥操作指令,残差策略在线训练并扰动这些指令,使机器人接触更广的状态范围,人类的持续纠正则提供恢复演示。作者称在三个真实机器人任务上,DI 的成功率持续优于或持平行为克隆与离线 RL 训练的策略。论文为预印本,未给出任务细节与成功率分母。
站内阅读 ↗Catch It All! 提出面向人形机器人的 sim-to-real 抓取框架,仅用一台自我视角相机即可完成上手与下手抓取,并泛化到未见物体。作者称策略可适应几何形状、可变形性、弹性等物理属性不同的新物体,并通过抓取奖励设计与安全感知课程支持接近硬件极限的高频动作执行,包括低至 5 Nm 的腕部力矩限制。
站内阅读 ↗论文提出 RFWalk,一个仅依赖射频传感的自监督里程计框架,将距离-方位帧间的稠密对应建模为时空图上的随机游走,并通过时间循环一致性从无标注序列中学习。为排除循环一致但物理上不合理的对应,作者引入多普勒一致性损失,用射频传感器自身测得的径向速度约束对应关系诱导的运动,再通过鲁棒的 SE(2) 配准恢复自运动。
站内阅读 ↗研究提出一种元学习图神经网络,利用物体的语义、几何与关系历史,从少量在线观测预测新环境中物体何时开始运动。该方法仅在仿真中训练,却能预判训练时未见的物体,并无需微调迁移到硬件,在仿真和硬件实验中优于一个视觉语言模型和类别频率基线。在闭环导航仿真中,其预测支持无碰撞通行,同时与最快但易碰撞的规划器相差不超过四秒。
站内阅读 ↗研究团队提出基于 CUDA 的事件相机仿真器,将其接入可微仿真管线,使梯度可直接通过可微物理模型回传,从而端到端训练把事件帧直接映射为控制指令的策略,无需中间深度估计。作者在四旋翼上完成零样本实机部署,在有里程计辅助和无里程计两种设置下均实现避障,并覆盖传统相机通常失效的低光条件。该工作为 arXiv 预印本。
站内阅读 ↗Anoop Kiran 等人提出一种在级联控制架构中决定鲁棒控制应放在哪些回路的方法,全部控制均在飞行器上运行。他们通过反演运动方程从 PID 悬停飞行中恢复扰动信号,识别并量化被激励的轴,再在关键轴部署鲁棒控制。
站内阅读 ↗研究提出一种带被动拖车的铰接履带车动力学模型,并在冰面上实验评估,其预测表现优于运动学基线。作者还提出混合动力学-运动学模型以适应不同路面和情境,并在无常规转向机构的单履带车上演示惯性转向:内部质量受控移动可在冰面产生转向,该行为可用所提动力学模型将内部质量视为无摩擦拖车来预测。
站内阅读 ↗Haotian Zhai 等人提出 AtomTree,一个用 LLM 做状态感知任务规划的分层框架,逐步构建子目标与动作树,由 LLM 依据当前符号状态决定继续分解还是输出接地的低层动作。框架包含轻量记忆模块复用过往结果,并在低层动作停滞时触发分层回溯重规划,从最新状态重新生成子树计划。在 ALFRED 基准的零样本评测中,AtomTree 表现优于此前的 LLM 规划器。
站内阅读 ↗作者提出一种分层规划与控制框架,让低层控制器反向引导高层轨迹选择:顶层MPPI规划器不依赖显式代价地图,而是用预训练低层强化学习控制器的价值函数作为隐式代价,MPPI负责轨迹探索、价值函数引导搜索。
站内阅读 ↗QbD-VLA 提出一种任务引导的混合精度量化方法,用短闭环评估中的任务成功率分配权重与激活位宽,并考虑模型组件间的相互影响。实验覆盖四个 VLA 模型和 LIBERO 全部四个套件,权重平均约 4 位、激活少于 6 位时仍保持较强任务表现;在 SIMPLER 上相对均匀量化的增益较小。
站内阅读 ↗作者提出 TERRA 在线自适应框架,用奖励加权预测损失修正仿真训练的世界模型,并训练损失预测器估计未来与性能相关的误差位置,以此在 MPC 中引导探索。仿真中,在严重分布外预训练条件下,TERRA 约在五次试验内达到约 90% 爬坡成功率,在奖励、完成时间和首次成功能耗上优于探索基线。
站内阅读 ↗莱顿大学研究人员在模拟医院环境的实验室中评估了Ryberg Healthcare的Omnia自主UV-C消毒机器人,结果发表于同行评议期刊《Infection Prevention in Practice》,该机器人满足至少5 log减少的验收标准。
站内阅读 ↗一项系统映射从4195篇文献中筛选出235项测量或缓解自动驾驶系统测试现实差距的研究,按六类测试组件区分仿真与实机执行。其中76%聚焦缓解,主要针对场景与参与者真实感及感知;仅61项报告覆盖多类指标的度量,且不足以建立差距与测试结论间的因果联系。研究据此呼吁按主张分别评估并做组件级报告。
站内阅读 ↗研究提出TRIM,一种不修改、不重训检测器的轻量时序监控器,用于发现3D目标检测的漏检失败。TRIM用通道级统计概括中间激活,再以时序卷积网络处理短序列;在NuScenes上,相比单帧监控,AUROC从0.686提升到0.704,95%召回下的误报率从0.818降至0.759。早期与中间骨干特征提供的监控信号最强,时序推理头在CPU上仅需0.159 ms。
站内阅读 ↗研究提出面向智能轮椅的多层导航系统MLNS,可在未知环境中解读并安全处理有限或错误的用户指令。该系统由ViSPF障碍检测、MPC轨迹生成、开放词汇视觉目标识别和优先队列目标选择组成,并在真实智能轮椅上由10名无残障参与者完成含故障输入接口场景的实验。
站内阅读 ↗Nadeen Elhadad 等提出约束感知强化学习框架,从接触力在线推断可行的拆卸方向,在机器人无关的物体中心仿真中训练后零样本部署到实机。该方法结合粒子滤波信念提供时序积分的方向信息,在四类真实任务上成功率分别为 100%、100%、90% 和 75%,且每项任务路径效率最高;在空调前盖上相比未使用该信念的策略把成功率从 45% 提升到 75%。
站内阅读 ↗Synthoid.ai 的 VLA Research Team 提出 SaiVLA-JEPA,在 VLA 流策略中接入冻结 V-JEPA 编码器特征,并在 10,030 对 LIBERO-Plus 回合上比较三种设置。
站内阅读 ↗论文提出 OmniQuad 轮足混合机器人,将麦克纳姆轮与腿式运动结合,以兼顾不平地形适应性与室内移动效率。作者介绍了定制麦克纳姆轮式足的设计、由该轮式足与 EM-Act 执行器组成的整机装配,以及配套控制方案,并在室内外环境中开展实验评估其性能。
站内阅读 ↗作者提出基于直线骨架的自动标注算法,无需人工干预即可生成双指抓取关键点,并训练出4-DoF的SkelGG-CNN。该模型在Jacquard V1、Jacquard V2和Cornell上分别达到95.42%、96.55%和97.1%的准确率;6-DoF自动标注在GraspNet novel split上平均精度为18.33。
站内阅读 ↗SpaceAct 是一个交互式基准,通过闭环物理动作与主动感知评测多模态大模型的3D时空推理,并配套提出 SAPA 时空主动探测智能体框架。基准基于积木与机械谜题构建,覆盖6类36个任务族共108个已验证实例,不提供特权坐标,并设有 +plan、+state、no-camera、blind、L7 levers 等诊断模式。
站内阅读 ↗一个为期三年的ROS 2人机交互联盟在集成大语言模型与视觉模型的过程中发现,机器人Alice在人类拒绝邀请后先转身说“没关系,都挺好”再驶离,语序改变了信息含义,另一次则在访客就站在主人身旁时报告访客已到。研究据此提出关于注意力、知识、承诺、具身时序与行动权限的五条设计经验,并引入TRACE轻量审查方法,通过改变一个交互前提追踪至决策或执行边界以产出架构发现。
站内阅读 ↗ELEVATE 框架利用任务程序优化中的持续失败识别缺失的全身控制能力,由编码智能体构建并迭代强化学习问题,验证后的控制器加入能力库并与已有控制器组合重试任务。
站内阅读 ↗Zhiyuan Xiang 等提出两阶段后训练框架 Cascaded Skills Optimization(CSO),用于修正 VQ-VAE 类离散技能先验的量化误差。
站内阅读 ↗作者提出 FEEL,一种不确定性感知的残差方法,从本体感知历史估计逐指外力大小,部署时无需专用接触传感器。该方法将校准的虚拟弹簧估计与混合密度网络(MDN)预测的残差分布结合,在十指、0-20 N 接触力范围内平均 RMSE 为 0.251 N,较虚拟弹簧降低 92.8%,较端到端 MDN 降低 9.4%。
站内阅读 ↗一项 arXiv 预印本研究提出面向零样本视觉语言导航的时空记忆系统,由 8B observer 总结观测、8B reasoner 依据任务、时序与空间三类记忆选择路点意图或请求新视角,再由几何控制器执行。
站内阅读 ↗Chanyoung Park 等提出 Selective Compositional Diffuser(SCD),通过可达性度量处理组合式扩散规划中重叠片段平均导致的模式平均问题。
站内阅读 ↗一篇 arXiv 综述梳理物理AI中的递归自我改进,即系统不仅从部署经验更新策略、世界模型、技能和可执行程序,还会修订并复用数据采集、反馈或学习流程。文章区分学习器更新与改进器,比较策略学习、想象经验、记忆与技能积累、可执行框架等路径,并提出 L0-L3 分级,分别对应任务局部适应、持久能力增益、继承式流程修订和经核验的改进器增益。
站内阅读 ↗MATCH 是一个联合学习语言条件规划器与目标条件原子动作执行器的框架,用于连续环境视觉语言导航(VLN-CE)。它用执行感知拓扑图表示依赖起点的执行选项,并结合执行器价值估计与实际结果记忆,让规划器通过有界连续偏移细化执行请求。该模型以 0.5B 参数在 R2R-CE 和 RxR-CE 基准上取得 state-of-the-art,初步实机部署也展示了应用潜力。
站内阅读 ↗SimRetract 展示开放手术中牵开器接管的零样本仿真到现实迁移,机械臂从外科医生手中接过牵开器并在交接时保持牵开,策略仅用仿真演示训练,无需人类演示或真实世界微调。
站内阅读 ↗HERON 提出用 3D U-Net 从实时深度相机预测障碍感知可达图,在 Jetson AGX Orin 上以 TensorRT 和 INT8 量化部署,平均 115 ms 预测机械臂周围 2.56 m 立方体区域,系统速率 8.57 Hz,接近障碍地图 10 Hz 的更新率。
站内阅读 ↗CuraEval 是一个评估机器人模仿学习演示筛选方法的框架,在混合技能 robomimic 数据上用 Diffusion Policy 和 BC-RNN 与同规模随机子集及全量训练做受控对比。
站内阅读 ↗纽约大学等团队发布预印本 Embodied at Sea,研究模仿学习在水下多任务操作中的表现。团队在平静与湍流水域采集1616条水下操作数据,训练14个不同本体感知配置的 DynamicVLA 模型,在泳池1260次可评分实机回放中10个模型超过基线,最佳模型总体成功率93.3%(含部分成功)。
站内阅读 ↗研究提出一个实验框架,用于确定运行固定独立行为树、使用私有黑板的机器人团队所需的充分通信量,以每机器人决策的接收方加权比特数衡量流量。在四种仓库条件下测试八种内容策略,低争用条件下零通信即为精确最小值;扩展条件下门控 q=0.992222 的无释放策略被确认充分,成功率达 96.33%,估计速率为每机器人决策 738.55 比特,为全状态通信的 0.544%。
站内阅读 ↗SKiD-SLAM 是一套面向行星探测的分布式多机器人 LiDAR SLAM 系统,作者在韩国完成两次野外部署验证。轮式漫游车在济州岛 Majang 熔岩管洞穴探索,四足机器人在涟川 KICT 的行星模拟地形执行陨石坑与岩石科学场景,系统在 250 kbps 机器人间通信预算内完成分布式多机器人 LiDAR SLAM。
站内阅读 ↗Google Scholar 提醒:待接入邮箱,尚未运行。