我要投稿

都是Kimi K2，表现却不同？我们测了多家服务商ToolCall性能，并开源了测试集

发布日期：2025-10-12 00:48:25 浏览次数： 1755

作者：Kimi 开放平台

微信搜一搜，关注“Kimi 开放平台”

自 Kimi K2 发布以来，我们收到了大量关于模型 ToolCall（工具调用）可靠性的反馈。我们观察到，这些反馈背后的主要原因是，不同 API 服务商采用的 Kimi K2 推理方案在 ToolCall 性能上存在显著差异。

用户在选择 API 服务商时，往往优先考虑延迟更低、成本更低，却可能无意中忽略了更微妙却关键的模型精度差异。

因此，我们推出 K2 Vendor Verifier 项目（https://github.com/MoonshotAI/K2-Vendor-Verifier），一方面为用户挑选 API 服务商提供参考，另一方面希望帮助模型服务商打造更加一致且高性能的 API 体验。

鉴于 ToolCall 能力是模型 Agent 性能的重要指标，也是 Kimi K2 模型的关键优势，ToolCall 能力成为 K2 Vendor Verifier 项目的第一项基准测试。昨天，我们更新了 ToolCall 基准测试的最新一期评测结果，一共有 12 家第三方 API 服务商参与其中。评估结果如下：

表中每项指标的定义如下：

我们的测试集有 4000 条数据，通过收集每个供应商的响应并与 Kimi K2 官方 API 进行对比得出上述评估结果。你可以在 Github 项目页的 samples.jsonl 文件中找到示例数据，我们已经将 50% 的测试数据开源，方便 API 服务商自行测试和复现。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-11-26

企业级AI落地：破局碎片化实施，构建体系化智能战略

2025-11-26

详解Palantir AIP的三个Flow：Dataflow、AI flow、Workflow

2025-11-25

为什么大模型在企业落地那么难？

2025-11-25

为什么我判断90%的中国ToB公司不需要GEO

2025-11-25

逐际动力张巍：人形机器人的本质是 AI 应用｜Agentic Era

2025-11-25

Gemini 3.0发布：谷歌用百万级上下文窗口重新定义AI能力边界

2025-11-25

智能体如何利用文件系统进行上下文工程

2025-11-25

Spring AI Alibaba实战：打造会编程的Java智能体

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

从需求场景出发的AI应用项目落地方法论

2025-09-19

实测 Sora 2 ：AI视频的“ChatGPT时刻”来了？八大场景教你解锁各种玩法（附邀请码）

2025-10-02

新版 GPT-5 刚刚发布，最卷 AI 连肝代码 7 小时，编程工具大洗牌开始了

2025-09-16

马斯克 Grok imagine 完整使用指南：工具、案例、提示词，看这一篇就够了！

2025-10-26

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

阿里发布下一代企业级智能体开发框架AgentScope 1.0

2025-09-17

RagFLow v0.20.X全面解析！双向MCP、Agentic智能体...这次真的起飞了！（附长图）

2025-09-29

Qwen3-Coder与Claude Code深度对比：谁是你的AI编程助手？

2025-09-14

一文速览OpenAI Dev Day 2025，下半年开始大洗牌

2025-10-07

Claude Sonnet4.5发布，号称世界最强模型，超越gpt-5-codex

2025-09-30

大家都在问

为什么大模型在企业落地那么难？

2025-11-25

Palantir牵手Snowflake，我们能学到什么？

2025-11-25

仅凭几张图片，我们是如何让 AI 自动生成 70% 可用前端代码的？

2025-11-25

彻底搞懂 A2A 是什么、和 MCP 的区别、前身和与未来趋势、对打造 Agent 产品的影响？

2025-11-23

如何利用 Google NotebookLM 实现精准、可溯源的内容生成呢？

2025-11-19

Snowflake CEO 复盘：为什么 LLM 时代企业需要一个 AI Data Cloud？

2025-11-19

为什么Mac在AI时代更有性价比？

2025-11-19

EI Search：生成式AI时代的知识探索新范式？

2025-11-18

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部