我要投稿

微软开源OmniParser V2，直接将DeepSeek-R1变成使用电脑的 AI Agents~

发布日期：2025-03-16 11:51:01 浏览次数： 2026

作者：PaperIdea

微信搜一搜，关注“PaperIdea”

微软在其官网上发布并开源OmniParser V2，它可以将任何 LLM 变成能够使用计算机的Agent。可以启用 GPT-4o、DeepSeek R1、Sonnet 3.5、Qwen等来了解屏幕上的内容并采取相关操作。

screen spot pro performance

OmniParser 是一款通用屏幕解析工具，可将 UI 屏幕截图解释/转换为结构化格式，以改进现有的基于 LLM 的 UI Agent。

训练数据集包括：

可交互图标检测数据集，该数据集来自热门网页，并自动注释以突出显示可点击和可操作区域；
图标描述数据集，旨在将每个 UI 元素与其相应的功能关联起来。

该模型中心分别包含基于上述数据集的 YOLOv8 微调版本和 Florence-2 微调基础模型。

OmniParserV2 有什么新功能？

更大、更清晰的图标标题 + 基础数据集与 V1 相比，延迟改善了 60%。
平均延迟：A100 上为 0.6 秒/帧，单个 4090 上为 0.8 秒。
性能强劲： ScreenSpot Pro上的平均准确率为 39.6
Agents只需要一个工具：OmniTool。使用 OmniParser + 选择的视觉模型控制 Windows 11 VM。OmniTool 开箱即用地支持以下大型语言模型 - OpenAI (4o/o1/o3-mini)、DeepSeek (R1)、Qwen (2.5VL) 或 Anthropic Computer Use。

https://huggingface.co/microsoft/OmniParser-v2.0https://www.microsoft.com/en-us/research/articles/omniparser-v2-turning-any-llm-into-a-computer-use-agent/https://github.com/microsoft/OmniParser/tree/masterdemo： http://hf.co/spaces/microsoft/OmniParser-v2

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-11-03

科大讯飞“王炸”开源！企业级智能体平台 Astron Agent：原生集成 RPA，Apache 2.0 商业友好！

2025-11-03

DeepSeek-OCR到底厉害在哪？

2025-11-02

刚刚，OpenAI开源了两个大模型~

2025-11-01

零一万物联合开源中国推出OAK平台，目标打造Agent世界的“基础设施”

2025-11-01

Unsloth发布Qwen3-VL本地运行和微调指南，修复隐藏bug

2025-10-31

Google DeepMind揭秘:开源AI模型如何泄露训练秘方

2025-10-31

有人问我会不会用 AI，我直接拿出这个 Ollama + FastGPT 项目给他看

2025-10-30

开源可信MCP，AICC机密计算新升级！

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek V3.1 Base / Instruct 发布

2025-08-20

阿里Qoder vs Trae vs Cursor：谁才是2025年程序猿的效率之王？

2025-09-07

有点东西！Qwen开源会写中文的生图模型Qwen-Image

2025-08-05

DeepSeek-V3.1-Base来了！MoE架构+128K上下文，性能再进化

2025-08-20

重磅开源！通义万相最新模型来了

2025-08-26

阿里AI编程 IDE Qoder 正式发布，BAT 终于凑齐了！

2025-08-22

开源发布！适合中国宝宝的 LangGraph 智能体开发模板！

2025-09-06

一手实测OpenAI新开源的GPT OSS，o1和GPT-4o都要过气了。

2025-08-06

DeepSeek又开源，这次是OCR模型！附论文解读！

2025-10-20

DeepSeek-V3.1发布，拿下全球开源第一，确实可以封神了！（附一手实测）

2025-08-22

大家都在问

DeepSeek-OCR到底厉害在哪？

2025-11-03

n8n如何调用最近爆火的deepseek OCR？

2025-10-29

小红书入局AI智能体开源DeepAgent，在计划什么更新？

2025-10-28

埃森哲的大裁员，向市场发出了什么信号？

2025-10-13

DeepSeek-V3.2背后的国产算子编程语言TileLang是什么？如何保持性能领先的同时减少6倍代码量？

2025-09-29

Qwen3-Next 首测！Qwen3.5的预览版？但为什么我的测试一塌糊涂？

2025-09-17

Dify Pre-release版本来了，Dify2.0时代不远了，看看有哪些进步？

2025-09-09

Claude不让用，有哪些国产模型能迎头赶上？

2025-09-08

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部