研究用 VLA 模型实现农业机械臂抓取,在仿真与 Franka 实机上对比 Octo 和 π0.5
研究提出一套面向农业抓取任务的仿真到现实机器人学习框架,将预训练的通用机器人策略适配到农业操作场景。团队搭建基于 MuJoCo 的番茄植株仿真环境,通过摇杆遥操作采集专家演示,并用这些演示适配 Octo 和 π0.5 两个预训练策略,随后在 Franka Research 3 机械臂上用真实机器人演示进一步微调。
NEWS / 动态
按时间浏览,使用右上角筛选切换领域。
研究提出一套面向农业抓取任务的仿真到现实机器人学习框架,将预训练的通用机器人策略适配到农业操作场景。团队搭建基于 MuJoCo 的番茄植株仿真环境,通过摇杆遥操作采集专家演示,并用这些演示适配 Octo 和 π0.5 两个预训练策略,随后在 Franka Research 3 机械臂上用真实机器人演示进一步微调。
上海交大等作者提出 Constraint-preserving Temporal Recombination(CTR),一种训练期数据干预方法,在保留各臂局部传感运动内容的同时重新调整片段时序,以保留任务要求的跨臂约束。
推荐理由:论文提出训练期数据干预方法 CTR,用于削弱双臂模仿学习中的虚假跨臂耦合,并在仿真与实机任务上对比多种策略。
ALIGN 提出一种条件对齐的优势条件行为克隆(AC-BC)框架,用于视觉-语言-动作策略,直接预测策略标签空间中的类别化成对条件,并通过 AdaRMS 调制与流时间融合注入 DiT 动作专家。
推荐理由:论文针对混合质量机器人数据下的优势条件行为克隆,提出条件对齐框架,并在两个实机任务上给出闭环成功率对比。
Binbin Zhang 等人在 arXiv 预印本中提出 PhantomTac,利用约 0.5 mm 厚、无需供电的磁标签改变磁场,从而伪造磁性触觉传感器解读出的力。
Aung Htet 等人提出一种全脉冲神经网络控制架构,用环形吸引子编码旋转关节状态,使表示与旋转系统的拓扑一致。稳态调节在这些分布式表示上直接计算目标状态偏差,对向增益调制群体把偏差转为活动凸包的受控相位移动,实现设定点调节;作者推导出解析傅里叶相位解码器,并用推挽脉冲群体实现其带符号分量。
FR-VLA提出一种视觉语言力推理模型,用可学习的力查询token基于视觉语言上下文生成力准入信号,再用该信号调制外部的token化力通路来生成动作。作者指出已有VLA通常以固定通路注入力信息,未显式判断力反馈与当前动作是否相关。在两个机器人平台的五个接触密集任务实机实验中,FR-VLA在六个评估阶段取得最高平均成功率,轨迹可视化显示其力准入随交互阶段变化。
推荐理由:论文提出在力进入动作通路前先由视觉语言上下文判断力相关性的机制,并在两个机器人平台的五类接触密集任务上做了实机对比。
研究构建了自动仓储通道内机器人拣选的解析-DES基准,在相同货架几何、穿梭车运动与拣选条件下与Lerher等解析式对比。基准含180个场景(三种货架长度、两种成对运动曲线、n=1至30个访问拣选点,每场景十次仿真重复),复现已发表解析表需取dES=1.5 m、dTB=0 m。
CondenseVLA 提出一种带可学习解码端历史压缩模块的多帧 VLA 策略,用可学习查询和多头交叉注意力把缓存的逐帧特征压缩为固定数量的 slot token,用于动作解码。
推荐理由:论文提出可学习的历史压缩模块,并给出仿真与实机成功率对比,可用于比较多帧 VLA 的历史信息利用方式。
作者提出 Vision-Language-Delta-Action(VLDA),把完整未来状态预测改写为紧凑的可操作过渡建模,用一个 Delta 变量捕捉潜在世界状态变化,作为视觉语言理解与动作生成之间的接口。
OV-PEAR 是一个面向未知工业物体的三维重建与位姿尺度估计框架,通过实例分割生成物体级三维假设、经外观感知视角检索与显式尺度搜索对齐到机器人坐标系,再用多视角 RGB-D 证据反投影验证体素占据。
推荐理由:论文给出未知工业物体的位姿尺度估计与重建流程,并在BOP-Industrial和实机装配上报告结果,可供比较零样本位姿方法。
论文提出 Collective Experience Learning(CEL)范式,让已部署机器人把自身执行经验汇总起来更新共享策略,再返回机群使用。作者通过失败引导经验检索微调(FERT)实现该范式,操作员只提供二值回合结果标签和环境重置,无需额外专家示范或纠正动作;容错异步训练系统(FATS)协调机器人执行、云端推理与策略优化。
推荐理由:论文提出用已部署机器人自身执行经验更新共享策略,并在96台机器人上验证了规模扩大带来的收益。
论文提出 Progress-Guided Preference Generation(PGPG),一种无需人工在环监督的无监督偏好对齐框架,用于微调预训练的生成式控制策略。该方法通过有序覆盖对齐衡量自主采集轨迹相对少量专家演示的序列进度,自动提取伪偏好标签,并称无需手工设计奖励函数。在多项长程操作任务实验中,PGPG 优于标准监督微调基线,并可同时集成扩散策略与流匹配策略。
推荐理由:论文提出无需人工标注的偏好对齐框架,用少量专家演示自动生成伪偏好标签,可比较其与监督微调在长程操作任务上的差异。
作者提出 SurGPT 基础模型,可自动分析达芬奇手术机器人视频,同时完成手术任务分类(打结、穿针、缝合)、标准化技能水平评估和手术手势自然语言描述三项任务。模型结合视觉编码器与 transformer 架构,用位置编码建模时序、注意力机制整合时空特征,并以自适应不确定性加权进行多任务学习。在达芬奇技能模拟器数据集上,作者称其在手术任务识别上达到当前最优表现,技能评估结果与专家评价相关。
作者提出一种用 Energy Score 训练的注意力混合密度策略,将未来视觉运动轨迹表示为显式概率分布,单次前向即可输出高斯混合参数,以避免 MDN 奇异性和梯度尺度不稳定。在 8 自由度机械臂上,该方法生成不同的避障轨迹并稳定避障学习;在随机移动物体抓取任务中,其在若干未见条件下比 Diffusion Policy 高 15-25%。
一篇 arXiv 预印本在 RoboDojo 的六项操作任务上评测了九款前沿多模态语言模型,让它们直接控制真实机械臂。作者称这是首次在物理硬件上对广泛前沿模型做统一操作任务比较,结果显示这些模型能完成多种操作任务,但精度和效率尚不足以在实际动作预算内完成。2026 年 7 月至 10 月间基准性能对应 53.9 天的翻倍周期,最佳执行速率提升 4.4 倍,最低执行成本下降 6.2 倍。
推荐理由:在真实机械臂上统一评测九款前沿多模态语言模型,给出能力现状与性能翻倍周期,可作为通用模型直接控制机器人这一路线的参照。
研究开发了两个ROS节点用于区分七种放射性同位素,模型训练节点采用梯度提升分类器,在留出测试集上报告总体准确率95%。演示中将C12137辐射探测器模块搭载于Jackal UGV,由操作员接近不同辐射源采集数据。
研究提出 Skill-RSI,让强通用模型仅在离线阶段编写、运行、诊断并修复仿真中的操作技能,冻结后的技能以代码形式运行或由廉价调用器读取描述执行。
推荐理由:论文提出冻结技能加廉价调用器的复用路线,并给出编译成本、失败任务与隐藏布局上的对照数据。
研究提出一套基于混合现实头显的可扩展半自主机器人遥操作系统,用于在机器人上采集示范数据。系统自主执行大部分任务轨迹,操作员只在关键阶段做微调,以减少大规模数据采集中的操作负担。作者在高精度精细双臂销孔装配任务上采集数据并训练模仿学习策略,称以更低的数据采集投入获得可用于训练全自主执行策略的高质量示范。

星海图 LEMO 双臂开发平台正式开售,首发定价 49,999 元。平台集成双 A1Z 七自由度机械臂、G1Z 夹爪、多视角同步视觉系统与 CCU 控制器,支持同构主从遥操作、VR 接管和三路视觉同步采集。官方同时提供 SDK、URDF、3D 模型及开放接口,覆盖数据采集、模型训练到真机部署验证。

星海图与昆数星启合作,将4台R1 Pro部署于昆山第一人民医院真实场景,开展污染器械转运、病房巡查等工作,转运时效控制在1小时以内。R1 Pro单次可连续运行6小时以上,已持续运行近一个月、累计完成上百次任务。未来1个月内还将拓展至污染包布与医废转运,覆盖20间手术室、日均约130台手术的转运需求。