导读
典型的自动化方法提示视觉语言模型(VLM)判断轨迹或生成程序来检查应用程序状态。这些观点可能会忽略决定性的证据或导致完成判断得不到支持。我们提出了 VeriCUA,一个与平台无关的框架,用于通过代理探索进行验证。

英文标题:VeriCUA: Verification as Agentic Exploration for Computer-Using Agents
arXiv编号:2610.40578
作者:Qiushi Sun, Da Yu, Alexander Knop
来源:arXiv
原文链接:https://arxiv.org/abs/2610.40578
中文摘要:
跨桌面、移动和 Web 环境构建和扩展计算机使用代理 (CUA) 需要可靠的任务完成验证,以进行数据管理、评估和强化学习。典型的自动化方法提示视觉语言模型(VLM)判断轨迹或生成程序来检查应用程序状态。然而,两者都依赖于复杂数字环境的局部视图。 VLM 的判断仅限于提供的观察结果,而生成的程序则取决于可访问的状态。这些观点可能会忽略决定性的证据或导致完成判断得不到支持。针对不同平台和访问设置定制单独的验证器会进一步增加工程成本。我们提出了 VeriCUA,一个与平台无关的框架,用于通过代理探索进行验证。它将验证视为跨平台和观察模式的在线和离线设置的共享程序内的动态证据收集和评估。在检查可用上下文以构建任务标题后,验证者会选择 GUI 或代码检查来查找未解决的需求,并将其结果结合到显式证据规则下。实验表明,在这些设置中,与比较基线相比,与参考标签的一致性有所提高,在困难情况下离线收益最大,在线错误完成声明的拒绝能力更强。进一步的分析将这些成果与补充证据和测试时探索联系起来。
本文由华人空间 AI 论文助手自动抓取翻译,仅供学术交流。