我要投稿

RLHF 是如何工作的？

发布日期：2024-06-10 14:55:07 浏览次数： 2498

作者：跳动的数据

微信搜一搜，关注“跳动的数据”

基于人类反馈的强化学习（RLHF）是一种机器学习（ML）技术，它利用人类反馈来优化 ML 模型，从而更有效地进行自我学习。强化学习技术可训练软件做出可最大限度地提高回报的决策，使其结果更加准确。RLHF 将人类反馈纳入奖励功能，因此 ML 模型可以执行更符合人类目标、愿望和需求的任务。RLHF 广泛应用于生成式人工智能（生成式 AI）应用程序，包括大型语言模型（LLM）。

RLHF 是如何工作的？

1. 给定

奖励模型 (RM) , 大型语言模型 (LLM)，两组 (提示，下一个词) 。

训练奖励模型 (RM)

目标：学习为赢家提供更高的奖励

2. 偏好

审查这两组词并挑选 "赢家"；(文档是，他) < (文档是，他们) 因为前者有性别歧视。

3-6 计算词组 1 (输家) 的奖励

3. 词嵌入

将词转换为词嵌入作为奖励模型 (RM) 的输入

4. 线性层

将输入向量与奖励模型的权重和偏差 (4x4 矩阵) 相乘

输出：特征向量

5. 平均池

将特征与列向量 [1/3, 1/3, 1/3] 相乘，达到跨三个位置对特征进行平均的效果

输出：句子嵌入向量

6. 输出层

将句子嵌入向量与权重和偏差 (1x5 矩阵) 相乘

输出：奖励 = 3

7. 词组 2 (赢家) 的奖励

重复步骤 [3]-[6]

输出：奖励 = 5

8. 赢家 vs. 输家奖励

计算赢家和输家奖励的差值

奖励模型希望这个差距尽可能大且为正数

5 - 3 = 2

9. 损失梯度

将奖励差距映射为概率值作为预测: σ(2) ≈ 0.9

通过预测 - 目标计算损失梯度: 0.9 - 1 = -0.1

目标是 1，因为我们想要最大化奖励差距。

运行反向传播和梯度下降来更新奖励模型的权重和偏差 (紫色边框)

调整 LLM

目标：更新权重以最大化奖励

10. 提示 -> 词嵌入

这个提示从未直接接收过人类反馈

[S] 是特殊的开始符号

11. Transformer

注意力机制 (黄色)

前馈网络 (4x2 权重和偏差矩阵)

输出：3 个 "转换后" 的特征向量，每个位置一个

12. 输出概率

对每个转换后的特征向量应用线性层将其映射到词汇表上的概率分布。

13. 采样

应用贪婪算法，即选择分数最高的词

对于输出 1 和 2，模型准确地预测了下一个词

对于第三个输出位置，模型预测了 "him"

14. 奖励模型

将新词组 (CEO 是, him) 输入到奖励模型

过程与步骤 [3]-[6] 相同

输出：奖励 = 3

15. 损失梯度

我们将损失设置为奖励的负值。

损失梯度只是一个常数 -1。

运行反向传播和梯度下降来更新 LLM 的权重和偏差 (红色边框)

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-07-29

AI+合同审查落地分享（下-1- 合同智能审查）

2025-07-29

AI 应用开发，还需要意图识别吗？

2025-07-29

一键切换不同的 Claude Code API

2025-07-29

一文搞懂大模型、RAG、函数调用、Agent、知识库、向量数据库、知识图谱、AGI的概念和联系

2025-07-29

腾讯的IDE codeBuddy体验来了，说点自己的感受。

2025-07-29

突发：GPT-5下周发布

2025-07-29

WAIC 2025 观察：大模型进入“效率与场景”决胜期

2025-07-29

爆火了大半年，Agent 到底能干好多少活 | WAIC 特别策划

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek R1-0528 小版本升级

2025-05-29

高效 Agents 构建指南

2025-05-23

SpringAI Alibaba实战文生图、聊天记忆功能

2025-06-01

忽视小模型和知识库，企业AI应用必将是死路一条

2025-05-07

从RAG到CoT再到MCP，一文读懂AI Agent落地难题｜大模型研究

2025-05-07

CAG 与 RAG：哪种方法能带来性能更好的人工智能

2025-05-07

AIGC合规落地全景图 | 如何做好AIGC数据合规

2025-06-07

精|知识探索新范式：深度研究Deep Research智能体全面综述，系统、方法与应用

2025-06-21

别再被MCP协议绕晕！一文搞懂连接流程与核心架构

2025-06-12

OpenAI创始人红衫AI峰会最新爆论：AI创业者，想活命就别再跟老子卷大模型了！

2025-05-20

大家都在问

AI 应用开发，还需要意图识别吗？

2025-07-29

AI还有哪些机会？你是否适合切入？

2025-07-29

Cursor Meetup 杭州站分享实录：小团队如何用 AI 撑起万级日活产品？

2025-07-28

独家｜对话夸克AI眼镜宋刚：如何把整个阿里巴巴塞进一副眼镜里？

2025-07-27

如何用 AI 翻译实现文档多语言支持的周级敏捷响应？

2025-07-27

面向 AI Agent 的搜索服务，小宿科技有机会成为百亿美金的新巨头吗？

2025-07-25

AI 基础知识从 0.3 到 0.4——如何选对深度学习模型？

2025-07-24

任务紧急，CodeBuddy是如何成为“第二双手”的？

2025-07-24

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

友情链接：

CopyRight © 2012-2024 深圳市博思协创网络科技有限公司版权所有

粤ICP备14082021号

广州：广州市华景路37号(华景软件园)暨南大学科技大厦6楼（整层）

深圳：深圳市福田区泰然四路29号天安创新科技广场一期A座1204

上海：上海市浦东新区金新路58号1602室

微信扫码
和创始人交个朋友

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部