我要投稿
微信搜一搜，关注“NLP前沿”
LLMs在处理长文本时，因为注意力机制二次时间和空间复杂度的问题，所以处理长文本时的内存消耗和计算成本有点恐怖。检索增强生成RAG自然就成了一个工业界成熟的解决方案，MemLong是一个新的解决方案，跟之前有些产品提到的RAG2.0有点类似（RAG 2.0有无数个版本~）。
整体上来看，他跟RAG的对比图如下，主要是通过存储过去的上下文和知识在一个记忆库中，利用这些存储的信息来检索（K-V and embedding pairs），来达到扩展了模型的上下文窗口的目的。
与标准语言建模目标相比，还会利用外部检索获取相关信息，并在模型的上层进行知识融合。
整体架构图如下
上层的注意力机制修改，将传统的多头注意力扩展到联合注意力机制，使每个token能够同时关注局部上下文和块级过去上下文
在多个长文本语言建模基准上进行了评估，显示出比其他最先进的LLMs更好的性能。它在单个GPU上能够将上下文长度从4k扩展到80k，大幅提高了模型在长文本任务中的性能。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业
2025-07-30
AI问答系统崩溃？这篇RAG优化实战指南，教你解决90%的检索问题
2025-07-30
基于MCP-RAG的大规模MCP服务精确调用方法
2025-07-30
优化 AI 问答准确率：知识库实践与避坑指南
2025-07-30
RAG召回优化完全指南：从理论到实践的三大核心策略！
2025-07-30
RAG 检索四件套全解析：模型、向量库、检索方式、排序器，一文选型不踩坑
2025-07-30
从0到1，彻底搞懂 RAG 分块的艺术（附开源代码）
2025-07-30
大规模RAG实施蓝图
2025-07-29
一小时内构建基于Gemma与Bright Data的生产级RAG应用
2025-06-06
2025-05-30
2025-06-05
2025-05-19
2025-05-08
2025-05-10
2025-06-05
2025-05-20
2025-06-05
2025-05-09
2025-07-28
2025-07-09
2025-07-04
2025-07-01
2025-07-01
2025-07-01
2025-07-01
2025-06-30
回到顶部
粤ICP备14082021号