LLM之后，Agent的未来是RL！

今天给家人们聊一期播客总结，四十二章经最新一期播客请到了在Meta工作了七年的应用强化学习组负责人朱哲清Bill。作为斯坦福大学强化学习专业博士，现在创业做Agent的他，抛出了一个巨大的反共识观点：

"LLM只是一个翻译官，真正的Agent核心应该是RL。"

等等，这是什么意思？

在2024年，我们见证了GPT-4掀起的Agent热潮。Claude、GPTs、Copilot...几乎所有大公司都在用LLM构建Agent。

但Bill却说，这条路走偏了？

并且，他用自己的技术路线，只花了不到1万美金就训练出了一个能在电商领域超越GPT-4的Agent。

这背后到底有什么玄机？

当前Agent的痛点

要理解Bill的观点，我们先问自己一个问题：当前的Agent真的在"思考"吗？

播客里边给出了一个非常形象的类比：想象你在一个复杂的迷宫里。

如果是人类，会怎么做？

• 分析当前位置
• 尝试不同路径
• 记住死胡同
• 总结经验教训

但当前的LLM Agent呢？它就像一个只会背诵地图的人：

• ✓ 能说出每个路口的样子
• ✓ 能背诵所有可能的路径
• × 但不会从错误中学习
• × 更不会优化自己的策略

这就是为什么你会发现：

Agent常常重复同样的错误；遇到新情况就抓瞎；效率始终无法提升等等问题

平行宇宙思维

那RL是如何解决这个问题的？

这里有个有趣的概念：平行宇宙。

想象你在玩《王者荣耀》，每次决策都可以看到未来5分钟会发生什么，这边走会被抓，那边走能拿龙 ，支援上路能赢团战。

这就是RL的核心能力：

1. 并行模拟多个未来
2. 评估每个决策的收益
3. 选择最优的行动路径

就像，AlphaGo能在没有人类棋谱的情况下，可以通过自我对弈达到超越人类的水平了；DeepSeek-R1最新的模型，没有PRM（过程奖励），没有MCTS（蒙特卡洛），Zero模型可以直接开始RL，训出来推理能力。

"翻译官"LLM

这是不是意味着LLM就没用了？

恰恰相反。

Bill提出了一个绝妙的比喻：LLM就像一个优秀的"翻译官"。

想象你是一个天才的围棋选手，但只会下棋，不会说话。你需要有人帮你理解对手的意图，帮你表达想法。

这就是LLM的完美定位：

• 输入端：把人类语言转换为RL可以理解的抽象状态
• 输出端：把RL的决策转换为人类可以理解的语言

最后

Bill预测，2025年会出现三个重要趋势：

1. 专业领域的Agent会达到专业人士水平
2. 训练成本会进一步降低
3. 应用场景会不断扩大

但更重要的是，这个技术路线给了我们一个全新的视角：

也许，真正的AI智能体，应该像人类一样：

• 会在"平行宇宙"中规划
• 会从经验中学习
• 会不断优化决策