粤ICP备17114055号
微信扫码
添加专属顾问
支持私有化部署
我要投稿
文章的出发点：LLMs通常被训练为通用工具，但在实际应用中，它们往往需要针对特定用户或任务进行调整。现有的方法如sft或rl，需要大量的数据集，这对新任务来说成本过高。本文通过少量用户提供的监督数据来快速定制和对齐大型语言模型，以满足特定用户或任务的需求。
文章标题：Show, Don’t Tell: Aligning Language Models with Demonstrated Feedback
https://arxiv.org/html/2406.00888v1
https://github.com/SALT-NLP/demonstrated-feedback
循环3，4，5，伪代码如下图：
DITTO 性能相对较高的原因之一是它通过生成比较使用的数据远多于 SFT。另一个是，在某些情况下，online imitation learning 比 SFT形式的 demonstrator 表现得更好。
迭代次数1->4，逐渐变优；增加negative sample，2->10逐渐变优；增加演示样本数量，逐渐边优，但是收益越来越低。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-04-30
通俗易懂的梳理MCP的工作流程（以高德地图MCP为例）
2025-04-30
一文说明 Function Calling、MCP、A2A 的区别！
2025-04-30
MCP很好，但它不是万灵药｜一文读懂 MCP
2025-04-30
旅行规划太难做？5 分钟构建智能Agent，集成地图 MCP Server
2025-04-29
10万元跑满血版DeepSeek，这家公司掀了一体机市场的桌子｜甲子光年
2025-04-29
谷歌大神首次揭秘Gemini预训练秘密：52页PPT干货，推理成本成最重要因素
2025-04-29
一文说清：什么是算法备案、大模型备案、大模型登记 2.0
2025-04-29
MCP：AI时代的“万能插座”，大厂竞逐的焦点
2024-08-13
2024-06-13
2024-08-21
2024-09-23
2024-07-31
2024-05-28
2024-08-04
2024-04-26
2024-07-09
2024-09-17
2025-04-29
2025-04-29
2025-04-29
2025-04-28
2025-04-28
2025-04-28
2025-04-28
2025-04-28
回到顶部