微信扫码
添加专属顾问
我要投稿
Vercel实验颠覆认知:简单被动的AGENTS.md完胜复杂主动的Skills,AI编程助手开发迎来新思路。 核心内容: 1. Skills模式与AGENTS.md模式的实验设计与对比结果 2. AGENTS.md实现100%通过率的关键机制解析 3. 当前AI开发中过度迷信Agent自主决策能力的反思
Vercel 团队近期公布了一项令人惊讶的实验结论:在为 AI Coding Agent 提供框架知识时,简单被动的上下文文件「AGENTS.md」比复杂的、主动调用的「Skills」更有效。这一发现挑战了当前 AI 开发中过度迷信 Agent 自主决策能力的趋势,为构建高可靠性的编程助手提供了新的思路。
为了测试 AI Coding Agent 获取新知识的最佳方式,Vercel 团队基于 Next.js 16 的新 API 建立了一套评估测试集,对比了两种截然不同的方法:
对比结果令人大跌眼镜,被寄予厚望的 Skills 模式表现惨淡,而看似原始的 AGENTS.md 模式却大获全胜。
在测试中,Skills 模式的主要问题在于 Agent 经常不调用该工具。在 56% 的测试案例中,Agent 即使拥有查阅文档的能力,也选择直接瞎写,导致通过率仅为 53%。这一结果与没有任何文档支持的基准测试结果完全一致,意味着 Skills 的存在几乎毫无价值。
团队尝试在 Prompt 中加入“必须调用技能”的显式指令,虽然将通过率提升到了 79%,但这种方法极度脆弱。指令措辞的微小变化(例如是要求“先读文档”还是“先探索项目”)会导致 Agent 行为产生巨大差异,甚至引发新的错误。这种不稳定性使得 Skills 难以在生产环境中被信赖。
相比之下,AGENTS.md 模式展现了惊人的稳定性。Vercel 团队并没有把所有文档塞进 Prompt,而是在 AGENTS.md 中嵌入了一个压缩后的文档索引,并加入了一句关键指令:“IMPORTANT: Prefer retrieval-led reasoning over pre-training-led reasoning”(重要:优先基于检索的推理,而非基于预训练知识的推理)。
结果显示,这种方法实现了100% 的通过率——构建、Lint 检查、测试全部通过。
Vercel 分析认为,被动的上下文(AGENTS.md)战胜主动工具(Skills)主要有三个深层原因:
直接把海量文档塞进 Prompt 显然不可行,会消耗大量 Token 甚至撑爆上下文窗口。Vercel 采用了一种巧妙的压缩策略:
他们不在 AGENTS.md 中放入文档全文,而是放入一个约 8KB 大小的索引。这个索引包含文件路径结构和精简的映射。Agent 看到索引后,知道去哪里寻找具体的文档文件(例如 .next-docs/ 目录),然后按需读取具体文件。这既保持了上下文的轻量,又保留了全量知识的精确索引能力。
Vercel 的这项实验为所有致力于 AI 应用开发的工程师提供了重要启示:
对于框架作者而言,不要指望 Agent 能通过通用的“搜索”或“工具”自动学会你的新框架。提供一个标准化的 AGENTS.md 索引片段,让用户添加到项目中,是目前确保 AI 写出正确代码的最可靠方式。
对于广大开发者来说,不要过度迷信 Agent 的自主决策能力。目前的模型在“何时使用工具”的判断上仍然很弱。Context is King,与其花时间调优复杂的 Agent 工具链,不如通过精心设计的 Prompt 和上下文文件直接“喂”给模型关键信息。拥抱 RAG,优先检索推理,才是当前阶段最稳健的 AI 编程实践。
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2026-01-25
Claude Code 最佳实践:50 个实用技巧
2026-01-23
迈向资产化的提示词/Skill:从个人技巧到组织能力
2026-01-22
Anthropic 黑客松冠军的"核武库"流出:这才是 Claude Code 的正确打开方式
2026-01-21
怎么用Antigravity IDE做需求分析
2026-01-21
Claude Code 创始人公开工作流!每周 100 个 PR 的 3 个核心技巧
2026-01-21
从“手搓 Prompt”到“无限循环”:AI 编码的下一个形态是“Ralph”吗?
2026-01-21
让 AI 多想一步:来自 Google 的提示词技巧,准确率提升 40%
2026-01-20
Lovart国内版平替,找到了
2025-11-14
2025-12-03
2025-12-26
2025-12-17
2026-01-18
2025-11-09
2025-11-27
2026-01-04
2025-11-30
2025-12-02
2026-01-21
2026-01-16
2026-01-13
2026-01-05
2025-12-22
2025-12-14
2025-12-03
2025-12-02