我要投稿

北京智源LC-Boost：长文任务4k大模型也能匹敌128k的！

发布日期：2024-05-28 13:40:25 浏览次数： 2438

作者：PaperAgent

微信搜一搜，关注“PaperAgent”

随着大型语言模型（LLMs）在实际应用中的广泛采用，它们常常需要处理长序列输入，例如长文档问答和摘要生成。传统的LLMs通常具有有限的工作上下文大小，这限制了它们处理长上下文任务的能力。尽管可以通过微调来扩展LLMs的上下文长度，但这需要付出巨大的成本，并且在部署时极其消耗资源

大多数长上下文任务实际上是可以用短上下文解决的。换言之，尽管这些任务与长序列输入相关，但可以通过策略性地使用短上下文来解决。基于这一论点，提出了一个名为LC-Boost（Long-Context Bootstrapper）的框架，它使短LLM能够以自举（bootstrapping）的方式处理长上下文任务。

LC-Boost的说明。LLM被提示推理如何访问适当的上下文以及如何利用访问到的上下文来解决问题。示例模型。(A) 暴力解法。尽管正确，但由于同时处理整个上下文，它不必要地昂贵。(B) 朴素的RAG（检索增强生成）。它很难处理像信息聚合这样的问题，这导致答案不完整。(C) LC-Boost利用RAG来解决问题，以很小的代价产生正确的答案。(D) LC-Boost通过顺序扫描处理长上下文，这基于全面收集的信息正确地解决了问题。

LC-Boost框架的核心在于两个关键的决策过程：访问（Access）和利用（Utilize）。访问阶段是LLM自我提示如何访问输入中适当的上下文部分；利用阶段是LLM计算如何有效利用访问到的上下文。通过基于当前任务自适应地访问和利用上下文，LC-Boost能够作为一个通用框架来处理多样化的长上下文处理问题。

方法的起始点：LC-Boost从输入查询（q）和长上下文（X）开始，目标是产生一个输出答案（Y）。考虑到LC-Boost背后的LLM有上下文长度限制（本文中将LC-Boost的工作上下文长度限制为4K），直接为长上下文任务生成输出答案Y是不可行的。
处理长上下文任务的策略：为了解决这个问题，LC-Boost通过战略性地理解分解后的短上下文（X = {X1, ..., Xn}），并从这些短上下文中提取最小必要上下文（˜X），以支持输出答案Y的生成。
决策过程：LC-Boost通过与分解后的短上下文（{X1, ..., Xn}）进行迭代交互的决策过程来实现这一目标。在此过程中，LC-Boost与每个短上下文Xi交互，执行两种类型的操作：信息访问和信息利用。
动作空间：LC-Boost定义了一个离散的动作空间A，包括任务理解、检索、移动、追加、合并、回答和聚合等七种动作。这些动作使LC-Boost能够灵活地访问任何短上下文Xi，准确获取信息，以及动态地利用获取的信息来产生目标形式的答案。

通过在多个流行的长上下文基准测试中对不同类型的任务进行全面评估，LC-Boost能够在资源消耗大大减少的情况下，实现显著提高的性能。LC-Boost在多数任务上的表现与基于强长LLMs的暴力解法相当，甚至在许多情况下，由于消除了干扰上下文，其性能还可能显著超过暴力解法。

主要实验结果。最佳结果以粗体显示，次佳结果用下划线标出。报告了主要任务的平均得分（%）。

消融研究中不同上下文处理策略的性能比较。NarrativeQA（左侧）是一个单文档问答任务。HotpotQA（中间）是一个多文档问答任务。SamSUM（右侧）是一个少样本学习任务。

案例研究在自建数据集上。正确答案用青绿色标记，错误答案用红色标记，模棱两可的答案用橙色标记。

https://arxiv.org/pdf/2405.15318Are Long-LLMs A Necessity For Long-Context Tasks?

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-07-30

WAIC-Day3: 谈谈Agent场景及Agent OS基础设施

2025-07-30

微软进军 AI 浏览器，维持巨头的平庸

2025-07-30

Higress ，助力企业构建私有 AI 网关和 MCP 市场

2025-07-30

刚刚，OpenAI给大学生做了个新外挂！ChatGPT一键变老师，免费可用

2025-07-30

突发！字节跳动发布同声传译大模型Seed LiveInterpret2.0，是首个延迟与准确率接近人类水平的中英语音同传系统！

2025-07-30

OpenAI深夜发布ChatGPT Study：免费AI家教，彻底颠覆传统教育

2025-07-29

AI+合同审查落地分享（下-1- 合同智能审查）

2025-07-29

AI 应用开发，还需要意图识别吗？

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek R1-0528 小版本升级

2025-05-29

高效 Agents 构建指南

2025-05-23

SpringAI Alibaba实战文生图、聊天记忆功能

2025-06-01

忽视小模型和知识库，企业AI应用必将是死路一条

2025-05-07

从RAG到CoT再到MCP，一文读懂AI Agent落地难题｜大模型研究

2025-05-07

CAG 与 RAG：哪种方法能带来性能更好的人工智能

2025-05-07

AIGC合规落地全景图 | 如何做好AIGC数据合规

2025-06-07

精|知识探索新范式：深度研究Deep Research智能体全面综述，系统、方法与应用

2025-06-21

别再被MCP协议绕晕！一文搞懂连接流程与核心架构

2025-06-12

2025-05-20

大家都在问

AI 应用开发，还需要意图识别吗？

2025-07-29

AI还有哪些机会？你是否适合切入？

2025-07-29

Cursor Meetup 杭州站分享实录：小团队如何用 AI 撑起万级日活产品？

2025-07-28

独家｜对话夸克AI眼镜宋刚：如何把整个阿里巴巴塞进一副眼镜里？

2025-07-27

如何用 AI 翻译实现文档多语言支持的周级敏捷响应？

2025-07-27

面向 AI Agent 的搜索服务，小宿科技有机会成为百亿美金的新巨头吗？

2025-07-25

AI 基础知识从 0.3 到 0.4——如何选对深度学习模型？

2025-07-24

任务紧急，CodeBuddy是如何成为“第二双手”的？

2025-07-24

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB