从一句“你好小智”拆开离线语音链路
ESP32-S3 为什么能听懂“你好小智”？一篇讲清离线语音识别原理
用一条真实的 ESP32-S3 语音控制链路讲清三个核心模块
当我说出“你好小智”，再说“彩虹模式”时，设备没有联网，却完成了唤醒、识别和灯效切换。背后并不是一个模型包办全部工作，而是 AFE、WakeNet 和 MultiNet 在依次协作。
ESP-SR 不是一个单独模型
FRAMEWORK · 一套本地语音工具链
ESP-SR 是乐鑫面向 ESP32 系列提供的语音处理框架。它把嵌入式语音交互所需的多个环节组织在一起，最常见的三部分就是 AFE、WakeNet 和 MultiNet。
AFE 把麦克风送来的声音整理成更适合识别的数据。
WakeNet 判断用户有没有说出唤醒词。
MultiNet 在唤醒后，判断用户说的是哪一条预设命令。
AFE：先把声音处理好
AUDIO FRONT END · 音频前端
AFE 是 Audio Front End，也就是音频前端。麦克风采集到的原始音频可能混有环境噪声、音量波动和播放回声，不能简单地把每一帧数据直接交给命令识别。
ESP-SR 的 AFE 可以组合 VAD、降噪、自动增益、回声消除和波束形成等能力，具体启用哪些功能取决于硬件通道和工程配置。
在我的单麦克风项目里，INMP441 通过 I2S 送入音频，AFE 通道格式使用“M”。M 表示麦克风通道；如果设备还采集扬声器播放参考信号，则可能使用 R 通道进行回声消除。
AFE 的主要任务是“准备音频”。它不是最终判断“彩虹模式”还是“关闭电灯”的命令分类器。
WakeNet：负责听见“你好小智”
WAKE WORD · 是否开始听命令
WakeNet 是唤醒词引擎。设备待机时，它持续检查音频中有没有目标唤醒词，例如“你好小智”。检测成功后，程序才进入命令识别状态。
在 ESP-SR 的常见用法中，WakeNet 已经集成在 AFE 内部。程序向 AFE 持续喂入音频，再从 fetch() 结果中读取唤醒状态。
所以，流程图上可以把 AFE 和 WakeNet 分开理解，但写代码时不一定需要手动搭建两条完全独立的音频管线。WakeNet 只负责 “有没有叫我”，并不会理解后面的任意一句自然语言。
MultiNet：负责识别预设命令
COMMAND WORD · 命令分类
MultiNet 是离线命令词识别模型。唤醒成功后，处理过的单声道音频继续送入 MultiNet，它会把“打开电灯”“调亮一点”“彗星模式”等短句匹配到预设命令，并返回 command ID。
command_id = 1 -> 打开灯带
command_id = 2 -> 关闭灯带
command_id = 6 -> 彩虹模式
command_id = 8 -> 彗星模式
官方文档显示，ESP32-S3 上的 MultiNet 支持中文和英文命令词，最多可配置 200 条命令，也支持运行时添加、删除和修改。不过，实际项目没有必要一开始就塞满命令，先把高频、差异明显的短句跑稳定更重要。
MultiNet 不是通用语音转文字，也不是大语言模型。它擅长的是在有限设备资源上，快速识别一组明确的离线控制指令。
三个模块怎样串起来
PIPELINE · 从声音到灯效
LOCAL SPEECH PIPELINE
INMP441 采集声音
↓
I2S 读取与 PCM 转换
↓
AFE 处理音频并输出状态
↓
WakeNet 检测“你好小智”
↓
MultiNet 返回 command ID
↓
WS2812B 执行对应灯效
当前 ESP-SR 接口要求送给识别链路的音频采用 16 kHz、16 位有符号数据。AFE 的 fetch 端通常输出处理后的单声道音频，正好可以继续交给 MultiNet。
所以，麦克风能输出数据，只能说明第一步采音成功；它并不能证明 AFE、WakeNet 和 MultiNet 都已经正常工作。
为什么要拆成三个模块
DESIGN · 资源、误触发与调试
降低常开开销：待机时主要关注唤醒词，不必一直识别全部命令。
减少误触发：只有先通过唤醒词，后面的声音才进入命令判断。
方便定位问题：音频前端、唤醒模型和命令模型可以分层检查。
这也是嵌入式语音和手机语音助手的一个明显区别：它不追求理解无限表达，而是把有限资源集中到 明确、稳定、低延迟的交互上。
最容易出现的四个误解
FAQ · 别把三个模块混在一起
ESP-SR 就是语音转文字？
不是。MultiNet 面向预设命令识别，不负责输出任意一句话的完整文本。
WakeNet 成功就等于命令成功？
不是。唤醒成功只代表开始听命令，MultiNet 仍可能识别失败。
AFE 只负责降噪？
不是。它还组织音频通道，并可提供 VAD、AGC、AEC 等处理和状态。
烧录应用程序就一定有模型？
不一定。模型通常位于 model 分区，修改模型配置后需要重新生成并烧录 srmodels.bin。
出现问题时按哪一层检查
DEBUG · 从麦克风一路向后查
01 采音层：I2S 数据是否随说话变化，有没有全零或持续削顶。
02 AFE 层：feed、fetch、通道格式、采样率和帧长度是否正确。
03 WakeNet 层：是否返回唤醒状态，唤醒模型是否加载。
04 MultiNet 层：是否进入命令窗口，有没有返回 command ID。
05 应用层：command ID 与灯效、继电器或电机动作的映射是否正确。
我遇到“说了你好小智，串口没有反应”时，就是先加入峰值、平均值和非零采样统计，证明 INMP441 确实有声音输入，再继续检查识别链路。分层排查比盲目换线快得多。
CONCLUSION
把三个名字，记成三句话。
AFE：把声音整理好。
WakeNet：判断现在要不要开始听命令。
MultiNet：判断听到的是哪一条预设命令。
ESP-SR 把这些能力组织成一套能在 ESP32 上运行的本地语音方案。当整条链路跑通后，灯带只是输出设备之一；把最后一步换成舵机、继电器或电机，就能继续扩展更多离线语音项目。
技术说明：本文根据乐鑫 ESP-SR 官方文档及项目实践整理，具体模型和接口支持范围以所用 ESP-SR 版本为准。
粤ICP备14082021号
免费POC，
零成本试错
