摘要

利用图形用户界面（GUI）进行人机交互对于访问各种数字工具至关重要。近期在视觉语言模型（VLMs）方面的进展突显了开发多功能代理以帮助人类完成GUI导航任务的巨大潜力。然而，当前的VLMs在基本能力（如光学字符识别和定位）以及GUI知识（如GUI元素的功能和控制方法）方面面临挑战，阻碍了它们成为实用的GUI代理。为了解决这些挑战，我们贡献了GUICourse，这是一套用于从通用VLMs训练基于视觉的GUI代理的数据集。首先，我们引入了GUIEnv数据集来增强VLMs的光学字符识别和定位能力。然后，我们引入了GUIAct和GUIChat数据集来丰富其对GUI组件及其交互的知识。实验结果表明，我们的GUI代理在常见的GUI任务中表现优于基线VLMs。即使是小型的GUI代理（参数量为31亿），也能在单步骤和多步骤的GUI任务中表现出色。最后，通过消融研究分析了该代理在训练阶段的不同变体。我们的源代码和数据集已发布在 https://github.com/yiye3/GUICourse。