行业落地分享：OPPO 手机 Agent 记忆系统实战与演进

随着大模型从聊天工具逐渐演化为能够理解环境、调用工具并执行任务的智能体，手机也正在从传统的信息终端，转变为用户数字生活中的个人 Agent。相比通用聊天机器人，手机 Agent 面临的最大差异并不只是设备形态，而是它天然处在用户数据、行为轨迹、应用服务和现实情境的交汇点。

在这一过程中，记忆系统成为手机 Agent 的核心基础设施。 如果没有稳定、准确、安全的记忆能力，手机 Agent 就只能根据用户当前输入进行一次性响应，无法真正理解“我之前说过什么”“我平时习惯怎么做”“这件事和上周发生的事情有什么关系”。

本文基于 OPPO AI 中心余明关于 Agentic-RAG 的技术分享，系统梳理手机 Agent 记忆系统中的应用定位、端云架构、检索策略、提示工程、隐私安全、评测体系以及未来演进方向。

手机为什么需要记忆系统

手机已经不再只是通信工具，而是人类记忆、行为和社会关系的重要载体。用户每天产生的大量数字信息，包括聊天记录、照片、文件、日程、收藏、浏览历史、健康数据、出行记录和应用使用习惯，实际上共同构成了一个高度个性化的数字记忆空间。

传统手机系统虽然能够保存这些信息，但不同数据通常被分散在不同应用和不同存储结构中。用户想要找到某条信息时，往往需要先回忆信息位于哪个应用，再进入对应应用，通过关键词、时间或目录逐步查找。数据虽然存在，却没有被有效组织和理解。

记忆系统的价值，在于把这些碎片化数据转化为可以被智能体理解、搜索和使用的长期记忆。手机存储的不再只是文件，而是用户过去行为与现实生活的数字映射。AI 可以通过这些记忆学习用户的习惯、偏好和需求，使同一个功能在不同用户身上呈现不同的服务方式。

手机 Agent 的记忆能力可以分为三个逐步演进的层次。

• 第一个层次是全量记忆。系统自动记录用户授权范围内的数字足迹，将照片、文档、日程、健康数据和应用信息整合起来，形成相对完整的个人数字档案。这个阶段的核心目标是解决“记得住”的问题。
• 第二个层次是精准搜索。用户不需要知道信息存放在哪个应用，也不必准确记住文件名称，只需要使用自然语言描述需求，系统便可以从多个数据源中定位相关内容。这个阶段解决的是“找得到”的问题。
• 第三个层次是结构化理解。系统通过知识图谱、实体关系、时间线和用户画像，将原本孤立的信息组织成结构化知识网络。AI 不仅知道某条信息存在，还能够理解人物、地点、事件、时间和用户行为之间的关系。这个阶段解决的是“理解记忆”的问题。

手机上的 AI 搜索并不是传统搜索框的简单升级，而是贯穿设置、文档、图片、记忆、健康和个性化服务的统一入口。

记忆搜索面临的核心工程挑战

手机中的数据来源极其复杂。系统数据、应用数据、用户文件、照片、截图、录音、健康指标和对话记录通常具有不同的数据格式、权限模型和更新机制。有的数据具有清晰字段，例如日程的开始时间、结束时间和地点；有的数据则是非结构化文本；照片和视频还需要视觉模型提取语义信息。

手机 Agent 对响应速度的要求远高于传统离线分析系统。用户通过语音或自然语言发起请求后，希望尽快看到首字响应。如果系统需要依次完成意图识别、端侧检索、云端召回、重排序和大模型生成，任何环节的延迟都可能被用户明显感知。

Agentic-RAG 的整体架构设计

OPPO 的 Agentic-RAG 架构可以理解为端侧记忆基础设施与云侧智能编排系统的组合。端侧负责数据接入、隐私保护、轻量索引和快速召回，云侧负责复杂意图识别、精排、联网搜索、个性化推理和跨服务协同。

端侧架构首先要解决召回率、响应时延、功耗、索引时效性、结构化信息和多模态数据处理等问题。

在检索模型方面，系统采用轻量级向量模型与倒排索引融合的架构。向量检索负责发现语义相近但关键词不同的内容，倒排索引则负责精确匹配名称、数字、时间和专有词。两种检索方式互相补充，可以在维持较高召回率的同时，减少对大型模型的依赖。

在召回阶段，系统还可以并行执行多种检索策略。例如，同时执行向量召回、关键词召回、结构化字段查询和规则召回，再对结果进行合并与去重。并行化能够缩短整体召回时间，也可以避免单一策略失效导致结果缺失。

云侧 Agentic-RAG 需要重点解决召准率、意图准确性、生成格式、系统灵活性和扩展性。相比端侧的快速召回，云侧更强调理解与决策。

用户请求进入系统后，首先由轻量级意图分类器进行预判。分类器不需要生成复杂文本，只需要判断请求可能属于日程、设置、图片、文档、记忆、健康、联网搜索或工具调用等类别。相比直接让大模型从所有能力中自由选择，轻量级分类器的成本更低、延迟更小，输出也更加稳定。

Agentic-RAG 的召回结果并不能直接交给大模型。手机记忆数据通常数量庞大，且不同结果之间存在时间、位置、来源和语义差异。系统需要构建多维过滤体系，对候选内容进行动态加权。

语义相关性是基础维度。系统综合向量相似度、关键词匹配、查询意图和业务规则，判断候选内容是否真正回答了用户问题。初步召回之后，还可以使用轻量级重排序模型对候选结果进行精排。

仅依赖用户本地数据并不能覆盖全部需求，因此云侧还需要提供联网搜索、个性化引擎、A2A 协议和工具调用接口。

当系统识别到联网意图时，可以通过搜索引擎补充实时公共信息。这里的关键并不是所有问题都联网，而是根据问题类型判断是否需要外部信息。个人记忆问题应优先使用用户数据，实时新闻、天气、政策和公共知识则更适合联网检索。

手机 Agent 的效果不仅取决于答案是否准确，还取决于用户等待答案的时间。一个结果正确但需要等待十几秒的系统，很难成为用户高频使用的手机入口。

低时延优化需要贯穿整个链路。首先可以通过界面交互优化改善等待体感，例如及时展示处理中状态、检索进度或流式首字结果。虽然这种方式不会直接减少计算时间，但可以降低用户对等待的感知。

分层提示工程与动态上下文构建

在 Agentic-RAG 系统中，Prompt 不应被视为一段固定文本，而应被设计为可以组合、裁剪和动态注入的工程化结构。

一个完整的提示体系通常包括角色信息、任务引导、上下文、约束条件和输出格式。角色信息定义模型在当前任务中的职责，任务引导明确需要完成的目标，上下文提供检索结果和用户状态，约束条件规定哪些内容可以使用、哪些行为不能执行，输出格式则保证下游程序能够稳定解析。

系统可以根据轻量级意图分类结果，提前匹配对应的垂直领域 Prompt。日程、设置、健康、图片搜索和文档问答对模型的要求不同，不适合共享完全相同的提示模板。

检索得到的内容同样需要进行提示化处理。系统可以在每段 Reference 前加入时间、来源、数据类型、可信度和使用条件，使大模型更准确地理解召回内容。

内容安全与隐私保护

手机记忆系统的内容安全不能只检查最终答案，而应覆盖用户输入、检索内容和模型输出三个阶段。

在 Query 阶段，系统需要识别敏感词、违规意图和越权请求。如果用户请求访问不具备权限的数据，或者试图诱导系统绕过安全策略，应在检索之前进行阻断。

在 Reference 阶段，系统需要对召回内容进行安全扫描。记忆库中的信息可能来自不同应用和不同时间，其中可能包含涉密、违规、低质量或不适合当前场景展示的内容。即使用户 Query 本身正常，也不能保证所有候选内容都可以直接进入模型上下文。

对记忆数据进行预先审查，可以在数据进入索引或检索系统前建立基础安全标签。在实时召回阶段，还可以结合当前请求进行二次判断。

在 Output 阶段，模型生成结果需要经过规则校验和风险检测。系统应检查是否泄露敏感信息、是否违反权限边界、是否包含不安全建议，以及输出格式是否符合要求。对于高风险任务，甚至可以采用模型审核与规则审核相结合的方式。

对于高度敏感的数据，可以通过端侧隐私沙箱实现数据和计算本地化。数据不离开设备，索引和推理也在端侧完成。虽然端侧模型能力有限，但在联系方式查询、设置搜索和本地文件检索等场景中，通常能够满足基本需求。

Agentic-RAG 的评测不能只看最终答案，而需要将完整链路拆分为多个层级。只有明确问题出现在召回、过滤、精排、生成还是工具调用阶段，团队才能有效优化。

从检索辅助走向主动规划

当前多数 RAG 系统仍然是被动式的。用户提出问题，系统检索信息，然后生成答案。未来手机 Agent 需要从“检索辅助”进一步演化为“主动规划”。

主动任务规划意味着系统能够根据用户行为记忆预测潜在需求。例如，系统发现用户每周一上午都会创建相似会议，可以提前准备日程；用户频繁在夜间开启护眼模式，系统可以主动建议自动化设置；用户即将出发参加会议，系统可以提前汇总地点、路线和相关材料。

未来记忆系统的个性化不应停留在简单标签层面。仅仅知道用户喜欢某类内容，并不足以支撑真正的个人 Agent。系统需要结合长期行为和实时情境，构建动态更新的用户画像。

PersonaX 可以作为个性化记忆的基础，将用户的行为习惯、服务偏好、重要关系、时间规律和情境信息组织起来。这个画像并不是静态档案，而是随着用户行为持续变化。

在当前阶段，RAG 主要帮助手机 Agent 找到用户过去的信息。未来，随着短期记忆、长期记忆、用户画像、工具链和反馈机制逐渐完善，系统将进一步理解用户习惯，预测用户意图，并主动完成复杂任务。

从“用户问，系统答”，到“系统理解用户为什么问”，再到“用户还没有问，系统已经准备好服务”，这可能正是手机 Agent 从智能助手走向个人数字分身的关键演进路径。

与 36000+来自竞赛爱好者一起交流~