研究:VLA隐含危害指令多被文本守卫漏检
热点事件持续更新
研究:VLA隐含危害指令多被文本守卫漏检
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Sripad Karne、Arjun Balaji 等人的研究测试了监控器能否拦截因有害目的而请求的普通机器人任务:实验固定任务内容,只改变意图表述的明确程度。结果显示,π0.5 在每一级明确程度上都完成任务,频率与无害对照组相当;文本守卫能标记几乎所有直白请求,但漏掉大量隐含请求,最多 95% 的隐含危害运行以任务完成且无告警结束,即便按机器人指令重新校准并在低误报率下,多数仍会漏过。 监控模型激活也无法弥补这一差距:线性探针在基础语言模型和视觉语言模型中几乎能完美区分有害与无害指令,但在两个模型家族完成机器人训练后这种区分能力减弱,隐含危害上减弱最多。该研究已被 CoRL 2026 的 SPAIS Workshop 接收。 上述结论来自研究者的实验报告,尚未经独立验证。
AI 根据报道生成 · 1 小时前更新
最新进展11月4日 13:00
研究:VLA 指令中的隐含危害易被文本守卫漏检报道时间线
沿着报道,了解事件的不同侧面。
11月4日
- arXiv · cs.RO精选研究:VLA 指令中的隐含危害易被文本守卫漏检
研究测试了监控器能否拦截因有害目的而请求的普通机器人任务,实验固定任务内容、只改变意图表述的明确程度。π0.5 在每一级明确程度上都完成任务,频率与无害对照组相当;文本守卫能标记几乎所有直白请求,但漏掉大量隐含请求,最多 95% 的隐含危害运行以任务完成且无告警结束,即便按机器人指令重新校准并在低误报率下,多数仍会漏过。监控模型激活也无法弥补这一差距:线性探针在基础语言模型和视觉语言模型中几乎能完美区分有害与无害指令,但在两个模型家族完成机器人训练后这种区分能力减弱,隐含危害上减弱最多。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。