免费POC, 零成本试错
AI知识库

AI知识库

学习大模型的前沿技术与行业落地应用


收藏

48小时突破1000 Star,我把 Meta 的 Muse Gadget 跑在了 ESP32 上

发布日期:2026-10-07 09:35:49 浏览次数: 2028
作者:AIStone

微信搜一搜,关注“AIStone”

推荐语

Meta开源新项目48小时收获千Star,作者跑通改造后拆解其独特设计。

核心内容:
1. Meta开源Muse Gadget项目的爆火背景与作者改造经历
2. 官方项目SDK结构与适配硬件介绍
3. Muse设备端的交互流程与核心设计逻辑

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
一、这两天,一个 Meta 开源项目突然火了

这两天刷 GitHub 的时候,看到 Meta 开源了一个叫 Muse Gadget SDK 的项目。项目发布不到 48 小时,Star 就突破了 1000。
一开始看到 Meta 开源 Muse Gadget SDK,我以为又是一个给 ESP32 接大模型的方案。毕竟前面已经在这块板上折腾过小智,录音、识别、生成回答、播放,这条链路并不陌生。
但把源码拉下来跑了一遍之后发现,它和小智 AI、Home Assistant Voice PE 这些项目走的并不是同一条路线。
很多项目关注的是怎么把语音接入大模型。
而 Muse 更关注的是怎么让一个桌面 AI 终端看起来更像一个有状态、有情绪反馈的设备。它不是等回答回来以后才动一下。录音时有电平反馈,等待时有对应的动作,回复时让出字幕空间,结束后还有短暂的动作反馈。对放在桌上的设备来说,让人知道“它现在在干什么”,是很实际的一件事。
花了一天时间把项目在ESP32-S31-Korvo-1上面跑通,并顺手做了一些本地化改造。
先看我这版的实机效果:
ESP32-S31-Korvo-1 上的Gadget界面。
下面就沿着这次改造往下拆:Muse 的设备端怎么组织,和小智有什么不同,以及我为什么把会话处理接到了 Mac 上。
二、背景:先分清官方 SDK 和这次改造

项目地址是 facebookincubator/muse-gadget-sdk。官方开放了设备 SDK 和固件,让开发者把现成的 ESP32 开发板或树莓派接入 Muse,再连接屏幕、按钮、传感器和执行器。
仓库分成两条线:
  • ESP32 Device SDK
    :提供设备接入,按板卡能力支持显示、按键、音频和设备命令。
  • Linux Device SDK
    :面向树莓派等 Linux 设备,支持运行命令、读写文件、查询设备状态。
官方接入需要 SDK token 和 Muse 手机 App。还有一个容易漏看的细节:官方 ESP32 README 说明,默认是语音输入、文字回复;要在设备上播报回答,需要另外接文字转语音服务,也就是 TTS。
我用的是手上这块乐鑫 ESP32-S31-Korvo-1:4.3 英寸、800×480 RGB 触摸屏,音频用 ES8389。下文的布局和驱动细节针对这块板,换板时还得核对自己的硬件。
三、从一轮对话,看懂 Muse 的设备端

1. 状态先变化,画面再跟上
先不急着看网络协议,从人和设备的交互看,主流程很清楚:
待机 → 按住说话 → 松开等待 → 展示回答 → 回到待机
在接上 TTS 的适配版里,“展示回答”阶段还会播放音频。取消、断网和处理失败,则需要走各自的分支。
设备状态主要由 muse_state.c 保存,包括当前模式、进入模式后的时间、音频电平、字幕和进度。UI 读取这些信息,再决定画什么、怎么动。
这样一来,UI 不用自己猜“请求是不是结束了”。录音模块更新录音状态,会话模块送回回答事件,画面再跟着变化。
我看这部分源码时,最关注的不是状态名有多少,而是三个问题:谁负责更新状态,谁负责消费状态,失败以后怎样回到可操作的界面。 这比只跑通一次正常对话更重要。
2. 角色是代码画出来的
角色渲染代码在 esp32/avatar/muse_pixel.c。它用 C 代码组织像素绘制、配色和动作,不是简单循环播放一段完整视频。
不同模式会影响角色周围的光效、动作节奏和表情,声音电平也可以参与驱动画面。源码里还能看到完成反馈用的跳跃动作。
这种做法适合按状态调整:等待时换一种节奏,录音时加入声音反馈,要给字幕腾位置时再调整布局。不必为每一种组合都准备一套完整动画资源。
当然,画布、刷新缓冲和音频缓存照样占内存,绘制也要用 CPU。这里值得借鉴的是组织方式,具体功耗和帧率仍要在目标板上测。
3. 找对接口,就不用连 UI 一起重写
继续往下看,可以按职责把工程分成几块:
部分
负责什么
本次改动
板级驱动与音频
屏幕、触控、录音、播放
适配 Korvo-1
状态与输入
按键、模式、字幕、电平
沿用主流程
UI 与角色
布局、像素绘制、设置页
保留并补快捷操作
会话接口
送入录音,取回事件和音频
换成 Mac 网关
这里可以把会话接口理解成一个接头:一头连着板子的录音和界面,另一头连着处理语音的服务。我把服务这一头换成了自己的 Mac 网关。
保留按键、动画和状态反馈,只换背后的会话处理。 没必要为了换一个服务端,把屏幕也重新做一遍。
四、和小智的区别

小智的设备端项目是 xiaozhi-esp32,后端既有官方服务,也有社区提供的自建实现。它不是只能连公网,也不只用于 IoT 控制;MCP 可以继续扩展设备和电脑操作。
把相关能力放在一起,更容易看清各自能提供什么:
维度
小智 AI
Muse Gadget
交互入口
离线唤醒、按键等,依板卡与配置而定
完整 UI 板卡提供按住说话
通信方式
WebSocket 或 MQTT + UDP,采用 Opus 音频流
官方设备接入 Muse 配对与会话体系
服务端选择
官方服务,以及可自建的社区服务端
官方接入 Muse;更换后端需要适配
扩展能力
通过 MCP 扩展设备及桌面操作
设备命令、部分板卡的局域网隧道、Linux 命令能力
对我这次的桌面场景,按住说话是一个能接受的取舍:想说时按下,结束时松开,不必一直让设备判断房间里的声音是不是对它说的。
它减少了持续监听带来的误触发机会,但不是回声消除算法。麦克风和扬声器的位置、录音期间是否仍在播放声音,还是要处理。
五、改造一:板子管交互,Mac 管处理

我没有把识别和生成回答都塞进 ESP32,而是在 Mac 上搭了一个 Python 网关。它就是板子和后面几个服务之间的中转站。
ESP32 负责录音、显示和播放,Mac 负责把这些环节接起来。 一轮对话怎么走,看这张图就够了:
本次适配的主要对话流程示意。固定指令先在 Mac 处理,普通问答仍需连接外部模型服务。
Mac 先用本机 Whisper 把录音转成文字。能匹配到的电脑操作直接处理,其他问题交给模型 API。拿到回复后,再用 macOS 自带的语音合成功能生成声音,连同字幕一起送回板子。
这样改的好处是,后面想换模型、换声音,主要改网关,不用反复动屏幕和动画。但它并不是完全离线:识别和语音合成在本机,普通问答仍要联网。
板子和 Mac 之间,我先直接传未压缩音频,少一层处理,更方便排查问题。代价是数据量更大;换成公网或多台设备时,再考虑压缩。先把一轮对话接通,再逐步优化,不必一开始就把所有环节做满。
六、改造二:中文显示,分开查三个问题

早期屏幕上的中文是这样的:
早期播报画面中的缺字方块。
看到方块或乱码,很容易都归到“字体不对”。但这次要处理的是三件不同的事:字库里有没有字、传过来的字是否完整、屏幕上怎么换行。
字库这一步,我补入了 GB2312 一级字表的 3,755 个汉字,以及常用标点。日常用字先覆盖起来,生僻字仍可能需要另外补。
乱码则要多查一步:一个汉字在程序里会占多个字节,文本太长时,可能刚好被截成“半个字”。这次做了尾部检查,去掉不完整的字符,再调整中文换行。补字库解决不了截断,扩大文字容量也替代不了排版。
七、改造三:把常用操作放到手边

先说音量。Muse 原版已经有设置页,我加的是主屏右上角的加减入口,不用为了调一点声音来回切页面。它仍沿用原来的音量控制,没有另做一套。
有了 Mac 网关,我又接入了系统音量、音乐播放和锁屏等操作。像调音量这样的固定指令,匹配到了就直接处理,不必每次都等模型回答。 这也正是前面流程图分成两条路的原因。屏幕右上角调的是开发板扬声器,语音里的电脑指令调的是 Mac 系统音量。
八、资料与版本说明

本文结合官方 README、本地适配源码和现有实机照片整理
  • Muse Gadget SDK:https://github.com/facebookincubator/muse-gadget-sdk
  • ESP32 SDK 说明:https://github.com/facebookincubator/muse-gadget-sdk/tree/main/esp32
  • Linux SDK 说明:https://github.com/facebookincubator/muse-gadget-sdk/tree/main/linux
  • 小智设备端:https://github.com/78/xiaozhi-esp32
  • 小智社区 Python 服务端:https://github.com/xinnan-tech/xiaozhi-esp32-server

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅