光会调 API 不够了：推理时计算正在成为 AI 竞争的新战场

调 API 两年，我第一次感觉自己可能落后了。

不是因为模型更新太快——这已经是常态。而是因为一件事：我意识到，我一直在用 2023 年的思维，消费 2026 年的模型。

触发这个想法的，是最近 AIMO 3 竞赛（AI 数学奥林匹克）发布的一篇技术报告。里面有句话让我多看了几遍：

*"Model Capability Dominates"——推理时的各种优化技巧，最终都比不过模型本身能力的提升。*

听起来像废话，但细想，这句话藏着一个很重要的信号。

Scaling Law 还有效吗？

过去几年，AI 圈有个共识：堆算力、堆数据、模型就能变强。这就是所谓的 Scaling Law——参数越多、训练数据越多，效果越好。

GPT-3 到 GPT-4，这条路基本走通了。

但到了 2025 年，这条路开始出现裂缝。

训练成本指数级上涨，边际收益开始递减。各大实验室悄悄把目光转向了另一个方向：推理时计算（Inference-time Compute）。

简单说就是：与其让模型在训练时学得更好，不如让模型在回答的时候多想一会儿。

这不是什么新概念。人类做难题也是这样——简单题秒答，难题多花时间推敲。OpenAI 的 o1、o3 系列就是这个思路的产物：让模型在输出答案前，先做一段隐式的「思维链」推理。

效果确实好，尤其在数学、代码、逻辑推理这类需要精确思考的任务上。

AIMO 竞赛说明了什么？

AIMO（AI Mathematical Olympiad）是个很有意思的测试场。

数学竞赛题没有捷径，不能靠记忆检索，必须真正「推理」。这也是为什么它成了衡量 LLM 推理能力的黄金标准之一。

今年第三届的报告里，研究者们做了大量实验，测试了各种推理时优化手段：

结论有点扎心：这些技巧都有效，但效果上限被模型基础能力锁死了。

一个基础能力弱的模型，你怎么在推理时折腾，它就是过不了某些题。而一个强模型，哪怕用最朴素的推理方式，也能解决大部分问题。

这和 AlphaProof（DeepMind 的数学证明系统）、OpenAI o 系列的经验是一致的：先有强大的基础模型，推理时优化才有意义。

这对普通开发者意味着什么？

说到这，可能有人会想：这是研究层面的事，跟我有什么关系？

我的理解是，有两层影响：

第一层：模型选择逻辑要变了。

以前选模型，很多人主要看性价比——哪个 API 便宜用哪个，反正效果差不多。

但推理时计算的兴起意味着：同等价格下，模型的「推理深度」开始拉开差距。o3 和普通 GPT-4o 处理同一个复杂任务，不只是质量不同，是「思维方式」不同。

你的应用场景如果涉及复杂推理（代码生成、方案设计、多步骤分析），无脑选便宜模型可能是在给自己挖坑。

第二层：「会用模型」本身变成一项硬技能。

这是我觉得更重要的一点。

推理时优化不只是模型厂商的事。作为开发者，你怎么设计 prompt、怎么拆分任务、怎么让模型「多想」，直接影响输出质量。

举个例子：同样让模型帮你 review 一段代码，有人直接扔进去问「有什么问题」，有人会先让模型逐行理解逻辑、再识别潜在 bug、最后给出修改建议。

后者用的就是推理时优化的思路——让模型在给出最终答案前，走完一个完整的思考过程。

这不需要你懂模型训练，但需要你真正理解「模型是怎么思考的」。

老实说，这让我有点警觉

我做了这么多年开发，习惯了把工具当黑盒用。调 API、看文档、出 bug 了 debug，这套工作流我闭着眼睛都能来。

但 AI 工具不一样。它不是确定性的系统，它是一个有能力上限、会受输入影响、需要你理解其工作方式才能用好的东西。

光会调 API 的人，和真正理解模型推理逻辑的人，产出质量正在拉开差距。这个差距现在还不明显，但两年后，我觉得会很明显。

这是我目前最想让自己记住的一件事。

你现在用 AI 处理复杂任务时，会主动设计「让模型多想一步」的流程吗？欢迎评论区聊聊。