我要投稿

都是Kimi K2，表现却不同？我们测了多家服务商ToolCall性能，并开源了测试集

发布日期：2025-10-12 00:48:25 浏览次数： 1886

作者：Kimi 开放平台

微信搜一搜，关注“Kimi 开放平台”

自 Kimi K2 发布以来，我们收到了大量关于模型 ToolCall（工具调用）可靠性的反馈。我们观察到，这些反馈背后的主要原因是，不同 API 服务商采用的 Kimi K2 推理方案在 ToolCall 性能上存在显著差异。

用户在选择 API 服务商时，往往优先考虑延迟更低、成本更低，却可能无意中忽略了更微妙却关键的模型精度差异。

因此，我们推出 K2 Vendor Verifier 项目（https://github.com/MoonshotAI/K2-Vendor-Verifier），一方面为用户挑选 API 服务商提供参考，另一方面希望帮助模型服务商打造更加一致且高性能的 API 体验。

鉴于 ToolCall 能力是模型 Agent 性能的重要指标，也是 Kimi K2 模型的关键优势，ToolCall 能力成为 K2 Vendor Verifier 项目的第一项基准测试。昨天，我们更新了 ToolCall 基准测试的最新一期评测结果，一共有 12 家第三方 API 服务商参与其中。评估结果如下：

表中每项指标的定义如下：

我们的测试集有 4000 条数据，通过收集每个供应商的响应并与 Kimi K2 官方 API 进行对比得出上述评估结果。你可以在 Github 项目页的 samples.jsonl 文件中找到示例数据，我们已经将 50% 的测试数据开源，方便 API 服务商自行测试和复现。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-01-11

静态分析只能查规则，AI 才能懂语义：PR-Agent 和 ESLint/Sonar 的正确分工

2026-01-11

订阅 Google One，一个人交钱六个人用 Gemini Pro

2026-01-11

你的Excel已觉醒！AI-by-Hand-Excel如何将普通表格变成超级智能助手？

2026-01-10

别开发智能体，开发Skills！介绍 Skill0.IO

2026-01-10

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

5亿美元融资之后，杨植麟首次深度分享Kimi的技术重点（含演讲全文）

2026-01-10

Claude Code 配置 Figma MCP 实战指南

2026-01-10

67%效率提升背后：Anthropic团队的CLAUDE.md配置秘籍

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

马斯克 Grok imagine 完整使用指南：工具、案例、提示词，看这一篇就够了！

2025-10-26

我挖到Gemini 3.0 Pro十大隐藏玩法，做网页已经落后N个版本了

2025-11-19

万字长文深度解析最新Deep Research技术：前沿架构、核心技术与未来展望

2025-10-20

深度体验TRAE SOLO 正式版，总结一点技巧(附完整可重现提示词和源码)

2025-11-13

从spec-kit到OpenSpec：规格驱动开发如何解决项目迭代痛点？

2025-10-18

实测｜DeepSeek-V3.2-Exp三大升级：长文本、多轮对话、开发支持

2025-10-21

ChatGPT 成人模式要来了，但作为成年人我一点都不高兴

2025-10-15

我错了，Gemini 做PPT不是“一般”，是“封神”。（尤其挖到第3层功能后…）

2025-11-03

ima 2.0升级：任务模式上线，一键激活2亿知识文件

2025-10-23

OpenAI 发布了浏览器 Altas，一手实测来了

2025-10-22

大家都在问

你的Excel已觉醒！AI-by-Hand-Excel如何将普通表格变成超级智能助手？

2026-01-11

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

Anthropic突然封禁第三方工具调用Claude，Cursor、OpenCode、xAI 集体“中枪”！项目做到一半突遭中断，官方解释是“误伤”？

2026-01-10

马斯克杀疯了！xAI官宣200亿美元融资，这次真能“干翻”OpenAI？

2026-01-08

2025四大AI怎么选？每月20美金，谁能当你的“全能外挂”？

2026-01-02

AGI的终极形态，是分布式集体智能？

2025-12-31

Manus联合创始人张涛：智能体Agent的终极形态是什么？

2025-12-31

Claude skills 底层逻辑是什么？

2025-12-31

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部