我要投稿

大模型在小爱同学应用实践

发布日期：2025-09-30 13:02:33 浏览次数： 1511

作者：DataFunSummit

微信搜一搜，关注“DataFunSummit”

导读本文将介绍大模型在小爱同学产品上的应用，分享在意图分发、意图理解、回复生成等方面的实践。

主要内容包括以下几大部分：

1. 小爱同学概要介绍

2. 大模型意图分发

3. 大模型垂域意图理解

4. 大模型回复生成

01

小爱同学概要介绍

小爱同学是一个无处不在的 AI 助手。目前我们的产品线包括小爱建议、小爱语音、小爱视觉、小爱翻译和小爱通话，支持的设备涵盖了手机、音箱、电视以及小米汽车。

从 ChatGPT 发布，引爆了大模型浪潮，国内外公司纷纷发力开展大模型相关工作，我们也在思考如何让小爱同学用上并用好大模型。通过多轮讨论，我们达成共识，即利用大模型重新构建小爱同学。在大模型的支持下，产品体验和用户留存得到了大幅提升，活跃用户次日留存提升了 10%，中长尾 query 满足率提升了 8%。

上图展示了小爱同学的整体架构，采用的是分而治之的思想。一个 query 来了之后，首先会有一个意图分发的大模型去做意图分发，将 query 分发到下游各个垂域的 Agent 上去，每一个垂域 agent 会有一个专门的意图理解大模型进行意图的理解。

02

大模型意图分发

1. 意图分发介绍

意图分发的目的是判断用户 query 的意图归属，然后将 query 路由到指定的垂域 agent 上去做一个深度的理解。因为这个垂域的 agent 只关注于自己垂直的意图理解，整个模型迭代的难度会更小，迭代效率会更高，可以更好地满足用户的需求。

意图分发主要有两个难点：

（1）模型是需要知识才能正确理解的。比如打开设置 vs 打开空调，需要模型知道设置是系统项，空调是设备；

（2）耗时的要求高，小爱场景意图分发需要控制在 200ms 以内。

2. 大模型尝试

首先做意图分发模型是需要知识，大模型通过了海量的数据预训练，我们认为它是具有知识的，自然而然想到就是用 prompt engineering，设定一个任务，然后直接请求大模型去输出这个用户请求中蕴含的意图。

实践中存在以下两个问题：

大模型输出的意图跟我们预定义的意图不一致。
大模型没有办法有效地遵循指令。在实践过程中发现，只有百亿级或者千亿级的模型才会遵循指令，更小的模型会倾向于直接去回答问题。

为了处理上面的问题，我们采用 few-shot 方法，在 prompt 中定义意图，并给一些示例 query。这种方法在一定程度上缓解了上述问题，但又带来一个新的问题就是输入的 token 太多。再加上对耗时的要求，Prompt engineering 的方法无法走通。因此我们尝试大模型的微调。

文章节选自《一本朴实无华的大模型电子书》电子书

识别下方二维码进群即可领取电子书

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-30

AI原生 vs. AI集成：产品经理的生存关键！

2025-09-30

Anthropic长文拆解上下文工程落地策略与实践

2025-09-30

OpenAI版抖音要来了！Sora 2加持，只能发AI生成视频

2025-09-30

Anthropic 深夜祭出 Claude Sonnet 4.5，能自主连续工作 30 小时！CEO：它更像你的同事

2025-09-30

【万字长文】大模型训练推理和性能优化算法总结和实践

2025-09-30

AI编程学习：Chrome DevTools MCP 到底有多强？

2025-09-30

突发！Claude 4.5 发布，这次更新不止是模型！

2025-09-30

Claude Sonnet4.5发布，号称世界最强模型，超越gpt-5-codex

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek-V3.1 发布，迈向 Agent 时代的第一步

2025-08-21

DeepSeekV3.1 提到的 UE8M0 FP8 Scale 是什么？下一代国产芯片设计？

2025-08-21

DeepSeek V3.1 测评

2025-08-19

新版 GPT-5 刚刚发布，最卷 AI 连肝代码 7 小时，编程工具大洗牌开始了

2025-09-16

WAIC 2025 观察：大模型进入“效率与场景”决胜期

2025-07-29

AI大家说 | 下一代AI创业的机会在哪里？定价趋势是什么？

2025-09-08

DeepSeek突然更新V3.1：实测后才发现的亮点与槽点

2025-08-19

阿里发布下一代企业级智能体开发框架AgentScope 1.0

2025-09-17

DeepSeek v3.1 到底有多强？与 Claude Code 一起实测！

2025-08-20

Qwen3-Coder与Claude Code深度对比：谁是你的AI编程助手？

2025-09-14

大家都在问

AI编程学习：Chrome DevTools MCP 到底有多强？

2025-09-30

AI创企的首选成长阵地，为什么是百度智能云？

2025-09-29

当 AI 把“已知”变得唾手可得时，人类还愿不愿意为“未知”付出代价？

2025-09-28

ChatGPT Pulse来了：AI 每天替你做研究，这事儿你该高兴还是该小心？

2025-09-27

2025年Ollama与vLLM选谁？

2025-09-27

阿里在云端讲AI，美团在地面落地AI：未来五年谁能跑出五倍？

2025-09-25

刚刚，DeepSeek-V3.1「终极版」重磅发布！最大提升超36%，V4/R2还远吗？

2025-09-23

AI4S | 从工具到伙伴：大模型如何重塑科研范式？

2025-09-22

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部