我要投稿

大模型在小爱同学应用实践

发布日期：2025-09-30 13:02:33 浏览次数： 1843

作者：DataFunSummit

微信搜一搜，关注“DataFunSummit”

导读本文将介绍大模型在小爱同学产品上的应用，分享在意图分发、意图理解、回复生成等方面的实践。

主要内容包括以下几大部分：

1. 小爱同学概要介绍

2. 大模型意图分发

3. 大模型垂域意图理解

4. 大模型回复生成

01

小爱同学概要介绍

小爱同学是一个无处不在的 AI 助手。目前我们的产品线包括小爱建议、小爱语音、小爱视觉、小爱翻译和小爱通话，支持的设备涵盖了手机、音箱、电视以及小米汽车。

从 ChatGPT 发布，引爆了大模型浪潮，国内外公司纷纷发力开展大模型相关工作，我们也在思考如何让小爱同学用上并用好大模型。通过多轮讨论，我们达成共识，即利用大模型重新构建小爱同学。在大模型的支持下，产品体验和用户留存得到了大幅提升，活跃用户次日留存提升了 10%，中长尾 query 满足率提升了 8%。

上图展示了小爱同学的整体架构，采用的是分而治之的思想。一个 query 来了之后，首先会有一个意图分发的大模型去做意图分发，将 query 分发到下游各个垂域的 Agent 上去，每一个垂域 agent 会有一个专门的意图理解大模型进行意图的理解。

02

大模型意图分发

1. 意图分发介绍

意图分发的目的是判断用户 query 的意图归属，然后将 query 路由到指定的垂域 agent 上去做一个深度的理解。因为这个垂域的 agent 只关注于自己垂直的意图理解，整个模型迭代的难度会更小，迭代效率会更高，可以更好地满足用户的需求。

意图分发主要有两个难点：

（1）模型是需要知识才能正确理解的。比如打开设置 vs 打开空调，需要模型知道设置是系统项，空调是设备；

（2）耗时的要求高，小爱场景意图分发需要控制在 200ms 以内。

2. 大模型尝试

首先做意图分发模型是需要知识，大模型通过了海量的数据预训练，我们认为它是具有知识的，自然而然想到就是用 prompt engineering，设定一个任务，然后直接请求大模型去输出这个用户请求中蕴含的意图。

实践中存在以下两个问题：

大模型输出的意图跟我们预定义的意图不一致。
大模型没有办法有效地遵循指令。在实践过程中发现，只有百亿级或者千亿级的模型才会遵循指令，更小的模型会倾向于直接去回答问题。

为了处理上面的问题，我们采用 few-shot 方法，在 prompt 中定义意图，并给一些示例 query。这种方法在一定程度上缓解了上述问题，但又带来一个新的问题就是输入的 token 太多。再加上对耗时的要求，Prompt engineering 的方法无法走通。因此我们尝试大模型的微调。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-12-30

Google 的理论框架 Titans + MIRAS：让 AI 获得「真正的长期记忆」

2025-12-30

企业级AI智能体落地秘籍：七根技术支柱缺一不可，参数细节全公开

2025-12-30

百度智能云，讲了一个6年的全栈AI长叙事

2025-12-30

LLM、RAG、微调、多模态，这些概念的「产品意义」是什么？

2025-12-30

谷歌没想到：Antigravity 竟成了 Claude Code 的“免费充电宝”？

2025-12-30

Meta 数十亿美元收购 Manus，肖弘将出任 Meta 副总裁

2025-12-30

Google Disco登场！Gemini 3赋能，浏览器的AI革命

2025-12-30

始末｜Manus 这一年

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

马斯克 Grok imagine 完整使用指南：工具、案例、提示词，看这一篇就够了！

2025-10-26

实测 Sora 2 ：AI视频的“ChatGPT时刻”来了？八大场景教你解锁各种玩法（附邀请码）

2025-10-02

一文速览OpenAI Dev Day 2025，下半年开始大洗牌

2025-10-07

我挖到Gemini 3.0 Pro十大隐藏玩法，做网页已经落后N个版本了

2025-11-19

深度体验TRAE SOLO 正式版，总结一点技巧(附完整可重现提示词和源码)

2025-11-13

万字长文深度解析最新Deep Research技术：前沿架构、核心技术与未来展望

2025-10-20

从spec-kit到OpenSpec：规格驱动开发如何解决项目迭代痛点？

2025-10-18

Sora 2带来3个颠覆性创新，这个行业或将被彻底重构

2025-10-02

英特尔发布“2纳米级”工艺CPU，你的AI PC性能即将暴涨50%

2025-10-11

实测｜DeepSeek-V3.2-Exp三大升级：长文本、多轮对话、开发支持

2025-10-21

大家都在问

LLM、RAG、微调、多模态，这些概念的「产品意义」是什么？

2025-12-30

谷歌没想到：Antigravity 竟成了 Claude Code 的“免费充电宝”？

2025-12-30

为什么大多数 Agent 项目，最终都没能跑进核心业务系统？

2025-12-25

一口气看完了200+企业的300多个AI案例，我发现了什么？

2025-12-25

Kubernetes 会成为 AI Agent 的最佳运行平台吗？

2025-12-25

深度解读DeepMind最新研究：为什么需要像管股市一样去管AI？

2025-12-22

Prompt是与LLM对话的唯一方式：如何给大模型装上能指挥“手脚”的脑子？

2025-12-16

200k Tokens 的上下文真的够用吗？

2025-12-15

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部