经过上次Sam预告后

2024年9月12 OpenAI推出 OpenAI o1系列模型

• https://openai.com/index/introducing-openai-o1-preview/
• https://openai.com/index/openai-o1-mini-advancing-cost-efficient-reasoning/
• https://openai.com/index/learning-to-reason-with-llms/

TL;DR

• 发布OpenAI o1-preview，OpenAI o1-mini
• o1-preview 主要在复杂问题的推理上有很大提高
• o1-mini更快，更便宜（80%），在编程任务上更强大

OpenAI o1

★

OpenAI o1 trained with reinforcement learning to perform complex reasoning. o1 thinks before it answers—it can produce a long internal chain of thought before responding to the user.

• 我们发现，随着强化学习（训练时计算）的增加和思考时间的增加（测试时计算），o1 的性能会不断提高。

• o1 接受了 RL 的训练，在通过私有思维链做出响应之前进行“思考”。它思考的时间越长，它在推理任务上的表现就越好。这为扩展开辟了一个新的维度。我们不再受制于预训练。我们现在也可以扩展推理计算。

Evals

为了突出对 GPT-4o 的推理提升，我们在各种人类测试和 ML 基准测试中测试了我们的模型。我们表明，在绝大多数这些推理密集型任务中，o1 的性能明显优于 GPT-4o。

• o1 在具有挑战性的推理基准上比 GPT-4o 有了很大的改进。

• o1 在广泛的基准测试中优于 GPT-4o。

Chain of Thought

• 类似于人类在回答困难问题之前可能会思考很长时间，o1 在尝试解决问题时使用思维链。通过强化学习，o1 学会磨练其思维链并改进它使用的策略。
• 它学会识别和纠正错误。它学会了将棘手的步骤分解为更简单的步骤。它学会了在当前方法不起作用时尝试不同的方法。此过程显著提高了模型的推理能力。

Coding

• coding能力达到了人类标准

Human preference evaluation

• 除了考试和学术基准之外，我们还评估了人类对 o1-preview 与 GPT-4o 在广泛领域中具有挑战性的开放式提示的偏好。
• 在这项评估中，人类培训师对来自 o1-preview 和 GPT-4o 的提示进行了匿名响应，并投票选出他们更喜欢哪种响应。
• O1-Preview 在数据分析、编码和数学等推理密集型类别中比 GPT-4O 更受欢迎。但是，在某些自然语言任务中，o1-preview 不是首选，这表明它并不适合所有用例。

How to use OpenAI o1

• 从9.12开始，ChatGPT Plus 和 Team 用户将能够访问 ChatGPT 中的 o1 模型。o1-preview 和 o1-mini 都可以在模型选取器中手动选择，
• 在启动时，o1-preview 的每周速率限制为 30 条消息，o1-mini 的每周速率限制为 50 条消息。

OpenAI o1-preview

目前在 ChatGPT 和 API 中发布了OpenAI o1系列的第一个preview版本，后续会继续更新和改进。

OpenAI o1-mini

• OpenAI o1-mini，是一种更快、更便宜的推理模型，在编码方面特别有效。
• 作为较小的模型，o1-mini 比 o1-preview 便宜 80%，使其成为一个功能强大、经济高效的模型，适用于需要推理但不需要广泛世界知识的应用程序。

Optimized for STEM Reasoning

• 大型语言模型（如 o1）是在大型文本数据集上进行预训练的。虽然这些高容量模型具有广泛的世界知识，但对于实际应用程序来说，它们可能成本高昂且速度缓慢。

• o1-mini 是一个较小的模型，针对预训练期间的 STEM 推理进行了优化。在使用与 o1 相同的高计算强化学习 （RL） 管道进行训练后，o1-mini 在许多有用的推理任务上实现了相当的性能，同时显著提高了成本效益。

• 在需要智能和推理的基准测试中进行评估时，与 o1-preview 和 o1 相比，o1-mini 表现良好。但是，o1-mini 在需要非 STEM 事实知识的任务上表现较差

o1-mini Model Speed

• o1-mini reached the answer around 3-5x faster.

Next Step

从目前的观察来看，OpenAI有点苹果化，不同于刚开始在AI领域大刀阔斧的前进，近期发布的产品仍然低于预期，但是不可否认，目前GPT4系列的效果仍然超越同类其他产品。

但是OpenAI o1的发布，说明在探索推理方面可能开创一种新的范式，引导模型“System II thinking”

目前能看到的推测讨论都不太站得住，期待能看到更多的效果测评。