How to Peel with a Knife：用偏好对齐细粒度操作质量

论文提出一个面向削皮等接触丰富、成功标准主观的细粒度操作任务的学习框架，先用力感知数据采集与模仿学习得到可跨物体泛化的初始策略，再用结合定量任务指标与人类定性反馈的学习奖励模型做偏好微调。仅用50至200条削皮轨迹，系统在黄瓜、苹果、土豆上同品类成功率100%，偏好微调带来最高40%的性能提升。在单一品类上训练的策略还能零样本迁移到部分留出品类，西葫芦成功率50%、梨90%、白萝卜80%。