我要投稿

加速推理6.4倍！Meta发布多Token推理框架

发布日期：2024-11-19 07:44:03 浏览次数： 2165

作者：CourseAI

微信搜一搜，关注“CourseAI”

一、当前LLM训练和推理遇到了哪些瓶颈

训练效率低下：传统的LLMs训练依赖于下一个Token的预测损失，但这种方法在推理能力方面存在效率低下的问题。
推理能力有限：模型在处理复杂推理任务时，往往受限于局部模式识别，缺乏对长期依赖性的把握。
生产速度慢：在推理时，现有的LLMs通常采用自回归生成，速度较慢

因此，Meta提出一种新的训练方法：

让模型在训练语料的每个位置同时预测接下来的n个Token, 每个独立的token各自计算交叉计算损失。
n个Token独立的输出头，又基于共享模型主干来并行预测每个未来的Token。
为了加速推理，提出一种高效的内存使用策略，通过调整前向和后向传播的顺序来减少GPU内存占用。将峰值GPU内存占用从O(nV + d)降低到O(V + d)，显著减少了内存需求，而且没有牺牲模型的运行时间。

二、加速推理的策略

在当前的大型语言模型（LLMs）中，词汇表的大小V远大于潜在表示的维度d，因此，Logit向量成为GPU内存使用的瓶颈。如果简单的实现多Token预测器，所有Logit及其梯度形状都是(n, V)，这严重限制了批量计算以及GPU内存均衡的使用率。

因此，通过调整前向和后向操作的顺序，在通过共享主干进行前向传递后，顺序地计算每个独立输出头的前向和后向传递，累积在主干的梯度上。虽然这样做会为输出头创建Logit（及其梯度），但这些在继续下一个输出头之前会被释放，只需要长期存储d维主干梯度即可。

操作顺序如下图所示：

三、亮点与不足

亮点

创新的训练方法：提出的多Token预测方法为LLMs的训练提供了一种新的视角。
显著的性能提升：实验结果表明，该方法在编码和自然语言模型上都取得了显著的性能提升。
推理速度的大幅提升：多Token预测模型在推理时能够实现更快的解码速度，对于实时应用具有重要意义。

不足

模型规模的依赖性：多Token预测的优势在较大规模的模型上更为明显，对于小型模型可能效果有限。
任务适用性：虽然在编码和某些自然语言处理任务上取得了成功，但该方法在其他类型的任务上的表现仍需进一步研究。
实现复杂性：多Token预测的架构和训练过程相对复杂，需要对现有训练框架进行调整。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-10-31

OpenAI 公开 Atlas 架构：为 Agent 重新发明浏览器

2025-10-31

Palantir 本体论模式：重塑企业 AI 应用的 “语义根基” 与产业启示

2025-10-31

树莓派这种“玩具级”设备，真能跑大模型吗？

2025-10-30

Cursor 2.0的一些有趣的新特性

2025-10-30

Anthropic 发布最新研究：LLM 展现初步自省迹象

2025-10-30

让Agent系统更聪明之前，先让它能被信任

2025-10-30

Rag不行？谷歌DeepMind同款，文档阅读新助手：ReadAgent

2025-10-29

4大阶段，10个步骤，助你高效构建企业级智能体（Agent）

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek-V3.1 发布，迈向 Agent 时代的第一步

2025-08-21

DeepSeekV3.1 提到的 UE8M0 FP8 Scale 是什么？下一代国产芯片设计？

2025-08-21

DeepSeek V3.1 测评

2025-08-19

新版 GPT-5 刚刚发布，最卷 AI 连肝代码 7 小时，编程工具大洗牌开始了

2025-09-16

实测 Sora 2 ：AI视频的“ChatGPT时刻”来了？八大场景教你解锁各种玩法（附邀请码）

2025-10-02

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

阿里发布下一代企业级智能体开发框架AgentScope 1.0

2025-09-17

DeepSeek突然更新V3.1：实测后才发现的亮点与槽点

2025-08-19

RagFLow v0.20.X全面解析！双向MCP、Agentic智能体...这次真的起飞了！（附长图）

2025-09-29

DeepSeek v3.1 到底有多强？与 Claude Code 一起实测！

2025-08-20

大家都在问

树莓派这种“玩具级”设备，真能跑大模型吗？

2025-10-31

大模型的Funcation Calling是什么？

2025-10-29

向量搜索已过时，混合搜索都有三大流派了！你看好哪个流派？

2025-10-29

BCG最新报告：企业如何跨越AI价值鸿沟，进入复利增长？

2025-10-28

如何用飞书多维表格快速搭建一个可落地应用？

2025-10-28

当AI学会“听”：声音识别到声音理解，AI到底是怎么听懂的？

2025-10-27

如何让你的内容出现在AI生成的答案中？

2025-10-26

2025，为何“体感上没有AI爆款应用”？

2025-10-25

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部