微信扫码
添加专属顾问
我要投稿
Vercel实验颠覆认知:简单被动的AGENTS.md完胜复杂主动的Skills,AI编程助手开发迎来新思路。 核心内容: 1. Skills模式与AGENTS.md模式的实验设计与对比结果 2. AGENTS.md实现100%通过率的关键机制解析 3. 当前AI开发中过度迷信Agent自主决策能力的反思
Vercel 团队近期公布了一项令人惊讶的实验结论:在为 AI Coding Agent 提供框架知识时,简单被动的上下文文件「AGENTS.md」比复杂的、主动调用的「Skills」更有效。这一发现挑战了当前 AI 开发中过度迷信 Agent 自主决策能力的趋势,为构建高可靠性的编程助手提供了新的思路。
为了测试 AI Coding Agent 获取新知识的最佳方式,Vercel 团队基于 Next.js 16 的新 API 建立了一套评估测试集,对比了两种截然不同的方法:
对比结果令人大跌眼镜,被寄予厚望的 Skills 模式表现惨淡,而看似原始的 AGENTS.md 模式却大获全胜。
在测试中,Skills 模式的主要问题在于 Agent 经常不调用该工具。在 56% 的测试案例中,Agent 即使拥有查阅文档的能力,也选择直接瞎写,导致通过率仅为 53%。这一结果与没有任何文档支持的基准测试结果完全一致,意味着 Skills 的存在几乎毫无价值。
团队尝试在 Prompt 中加入“必须调用技能”的显式指令,虽然将通过率提升到了 79%,但这种方法极度脆弱。指令措辞的微小变化(例如是要求“先读文档”还是“先探索项目”)会导致 Agent 行为产生巨大差异,甚至引发新的错误。这种不稳定性使得 Skills 难以在生产环境中被信赖。
相比之下,AGENTS.md 模式展现了惊人的稳定性。Vercel 团队并没有把所有文档塞进 Prompt,而是在 AGENTS.md 中嵌入了一个压缩后的文档索引,并加入了一句关键指令:“IMPORTANT: Prefer retrieval-led reasoning over pre-training-led reasoning”(重要:优先基于检索的推理,而非基于预训练知识的推理)。
结果显示,这种方法实现了100% 的通过率——构建、Lint 检查、测试全部通过。
Vercel 分析认为,被动的上下文(AGENTS.md)战胜主动工具(Skills)主要有三个深层原因:
直接把海量文档塞进 Prompt 显然不可行,会消耗大量 Token 甚至撑爆上下文窗口。Vercel 采用了一种巧妙的压缩策略:
他们不在 AGENTS.md 中放入文档全文,而是放入一个约 8KB 大小的索引。这个索引包含文件路径结构和精简的映射。Agent 看到索引后,知道去哪里寻找具体的文档文件(例如 .next-docs/ 目录),然后按需读取具体文件。这既保持了上下文的轻量,又保留了全量知识的精确索引能力。
Vercel 的这项实验为所有致力于 AI 应用开发的工程师提供了重要启示:
对于框架作者而言,不要指望 Agent 能通过通用的“搜索”或“工具”自动学会你的新框架。提供一个标准化的 AGENTS.md 索引片段,让用户添加到项目中,是目前确保 AI 写出正确代码的最可靠方式。
对于广大开发者来说,不要过度迷信 Agent 的自主决策能力。目前的模型在“何时使用工具”的判断上仍然很弱。Context is King,与其花时间调优复杂的 Agent 工具链,不如通过精心设计的 Prompt 和上下文文件直接“喂”给模型关键信息。拥抱 RAG,优先检索推理,才是当前阶段最稳健的 AI 编程实践。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2026-06-15
提示词工程已死,Loop Engineering来了!
2026-06-12
教你用 Codex 从 0 到 1 写一个 SKILL
2026-06-12
用Claude Code写PRD,我总结了这几条有用的经验!
2026-06-11
Anthropic 工程师:我不再写 Prompt 了,我写 Loop
2026-06-11
把提示词封装成skill!零成本雇佣一位Excel高手
2026-06-10
Harness 刚搞懂,Loop Engineering又要火了
2026-06-08
前端同学,抓紧上车,Taste Skill 深度解析:一套反模板规则如何让AI写出有品味的前端
2026-06-06
如何用 Codex 在 1 小时内快速了解陌生行业
2026-03-18
2026-04-21
2026-04-07
2026-03-26
2026-03-26
2026-04-25
2026-04-14
2026-05-02
2026-04-19
2026-04-20
2026-05-23
2026-05-16
2026-04-14
2026-02-28
2026-02-12
2026-02-12
2026-02-08
2026-02-05