大模型系列——如何在本地部署微软的OmniParser V2

大模型系列——如何在本地部署微软的OmniParser V2

微软的 OmniParser V2 是一款尖端的人工智能屏幕解析器，可通过分析屏幕截图从图形用户界面中提取结构化数据，使人工智能代理能够与屏幕元素进行无缝交互。该工具是构建自主图形用户界面代理的完美选择，它改变了自动化和工作流程优化的游戏规则。在本指南中，我们将介绍如何在本地安装 OmniParser V2、其运行机制、与 OmniTool 的集成及其实际应用。

OmniParser V2如何工作？

OmniParser V2 采用两步流程：检测和字幕。首先，它的检测模块依靠经过微调的 YOLOv8 模型来发现屏幕截图中的按钮、图标和菜单等交互式元素。接下来，字幕模块使用 Florence-2 基础模型为这些元素创建描述性标签，解释它们在界面中的作用。这些模块共同帮助大型语言模型（LLM）充分理解图形用户界面，从而实现精确的交互和任务执行。

与前代产品相比，OmniParser V2 进行了重大升级。它将延迟减少了 60%，并提高了准确性，尤其是在检测较小的元素时。在 ScreenSpot Pro 等测试中，与 GPT-4o 搭配使用的 OmniParser V2 的平均准确率达到了 39.6%，与 0.8% 的基准分数相比有了巨大的飞跃。这些进步得益于在一个更大、更详细的数据集上进行的训练，该数据集包含有关图标及其功能的丰富信息。