我要投稿

大模型在小爱同学应用实践

发布日期：2025-09-30 13:02:33 浏览次数： 2194

作者：DataFunSummit

微信搜一搜，关注“DataFunSummit”

导读本文将介绍大模型在小爱同学产品上的应用，分享在意图分发、意图理解、回复生成等方面的实践。

主要内容包括以下几大部分：

1. 小爱同学概要介绍

2. 大模型意图分发

3. 大模型垂域意图理解

4. 大模型回复生成

01

小爱同学概要介绍

小爱同学是一个无处不在的 AI 助手。目前我们的产品线包括小爱建议、小爱语音、小爱视觉、小爱翻译和小爱通话，支持的设备涵盖了手机、音箱、电视以及小米汽车。

从 ChatGPT 发布，引爆了大模型浪潮，国内外公司纷纷发力开展大模型相关工作，我们也在思考如何让小爱同学用上并用好大模型。通过多轮讨论，我们达成共识，即利用大模型重新构建小爱同学。在大模型的支持下，产品体验和用户留存得到了大幅提升，活跃用户次日留存提升了 10%，中长尾 query 满足率提升了 8%。

上图展示了小爱同学的整体架构，采用的是分而治之的思想。一个 query 来了之后，首先会有一个意图分发的大模型去做意图分发，将 query 分发到下游各个垂域的 Agent 上去，每一个垂域 agent 会有一个专门的意图理解大模型进行意图的理解。

02

大模型意图分发

1. 意图分发介绍

意图分发的目的是判断用户 query 的意图归属，然后将 query 路由到指定的垂域 agent 上去做一个深度的理解。因为这个垂域的 agent 只关注于自己垂直的意图理解，整个模型迭代的难度会更小，迭代效率会更高，可以更好地满足用户的需求。

意图分发主要有两个难点：

（1）模型是需要知识才能正确理解的。比如打开设置 vs 打开空调，需要模型知道设置是系统项，空调是设备；

（2）耗时的要求高，小爱场景意图分发需要控制在 200ms 以内。

2. 大模型尝试

首先做意图分发模型是需要知识，大模型通过了海量的数据预训练，我们认为它是具有知识的，自然而然想到就是用 prompt engineering，设定一个任务，然后直接请求大模型去输出这个用户请求中蕴含的意图。

实践中存在以下两个问题：

大模型输出的意图跟我们预定义的意图不一致。
大模型没有办法有效地遵循指令。在实践过程中发现，只有百亿级或者千亿级的模型才会遵循指令，更小的模型会倾向于直接去回答问题。

为了处理上面的问题，我们采用 few-shot 方法，在 prompt 中定义意图，并给一些示例 query。这种方法在一定程度上缓解了上述问题，但又带来一个新的问题就是输入的 token 太多。再加上对耗时的要求，Prompt engineering 的方法无法走通。因此我们尝试大模型的微调。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-05-06

Karpathy：很多App就不该出生、人类唯一护城河只剩理解、CPU将沦为配角

2026-05-05

OpenAI 「实时语音」架构首次公开

2026-05-04

打造Claude Code的宝藏经验！提示缓存就是一切

2026-05-04

Apple Silicon 上本地跑 LLM，速度直接甩 Ollama 几条街

2026-05-03

奥特曼：Codex 正在经历 ChatGPT 时刻。这是要起飞了

2026-05-01

永别了，终端！OpenAI疯狂升级Codex，接管Mac人类全程0操作围观

2026-04-30

Karpathy 最新访谈：Vibe Coding 只是开始，真正重要的是 Agentic Engineering

2026-04-30

近4万Star！一个终端把自己变成了AI开发环境，Cursor和Claude Code都沉默了

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Claude Opus 4.7刚刚曝光！Claude Code一夜重构，7x24小时替你打工

2026-04-15

刚刚Qwen 3.6 Plus上线预览：1M上下文，阿里Coding/Agent翻身战打响

2026-03-31

2026年国内如何注册 Claude 账号教程

2026-03-13

豆包 2.0 模型发布，全信息整理（全网最完整，另附 79 页 Model Card）

2026-02-14

独家| DeepSeek-V4终于要来了：梁文锋憋半年大招，多模态+长期记忆全面破局

2026-03-17

全网最详细的Codex入门教程，手把手教你玩转Vibe Coding。

2026-02-09

香港终于能直接用 Gemini 了，内地用户能用上吗？

2026-03-17

OpenAI Codex CLI 完整使用指南

2026-04-07

编程选GPT-5.4，还是GPT-5.3-Codex？

2026-03-21

全球首个 AI 进化网络 EvoMap，给 Agent 装上 DNA

2026-02-20

大家都在问

「双线实测」Qwen 3.6-Plus，Agentic Coding 已经这么能「扛活儿」了？

2026-04-26

本体化语义层，会是 AI 数据平台的新地基吗？

2026-04-22

设计行业的“棺材板”，要被Claude Design盖上了？

2026-04-18

当所有人都不写代码了，谁来看懂代码？

2026-04-13

什么场景该用 AI Native？

2026-04-12

12MB的Go二进制，让AI操控浏览器只花800 tokens，PinchTab凭什么这么省？

2026-04-07

华为AI 49元/月！贵？不贵？

2026-04-01

为什么这波 AI 产品都开始抢着做 CLI ？

2026-03-31

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部