我要投稿

用ESP32，做了个siri？！开源了！

发布日期：2024-06-27 15:03:20 浏览次数： 3346

作者：立创开源硬件平台

微信搜一搜，关注“立创开源硬件平台”

前言

用ESP32做了一个语言模型，就像一个基础版“siri”~

项目功能/亮点

”

支持对话（语言识别与合成），响应速度几乎在3s以内。

支持触碰交互

通过修改代码，可以设置AI的对话方式和回答风格

支持用于拓展设计，例如：智能MP3、简易版siri/小爱同学、实时翻译工具…

想实现这些功能，软硬件如何设计？会不会很难？

其实，可能比你以为的更简单！

硬件设计

”

原理图

PCB图

实物图

▲

元器件选型说明

选用：ESP32S3-WROOM-1-N16R8

INMP441 与 MAX98357A 使用的都是模块

电池插头是1.25间距正接头，仅支持单节3.7v锂电池，typec接口有充电功能，可以给锂电池充电

喇叭：MAX98357A可以推动3w喇叭

串口模块是CH340C，后面有C！

显示屏幕是3.2寸带触摸屏幕

搞定了电路设计，那又要如何实现主要的“对话”功能？

训练语言模型？用现成的！

”

关键词：讯飞、火山引擎

想实现对话功能，起码得让它“听懂”。这得通过STT（语言转文字）和TTS（语音合成）实现！STT和TTS使用的是讯飞API。PS：注册讯飞账号有试用礼包。

光“听懂”不行啊，得聊起来呀！这就需要大语言模型了。大语言模型不仅能够生成自然语言文本，还能够深入理解文本含义，处理各种自然语言任务，如文本摘要、问答、翻译等。

大语言模型使用的是火山引擎的豆包同款引擎。PS：一样，注册账号可以领取免费试用。

作者亲测，就算是试用，也够玩一阵子了~~

如何连接API？

上面三个API，是从各自官网控制台获取到KEY后，修改代码中相关的字段，才可以正常连接到API。

代码中还需要修改WiFi的连接信息。

一些说明

讯飞的服务使用webscoket连接API，TTS使用了流式处理，一边接收一边播放音频。有时数据处理不严谨会发生错误，这个暂时还没解决，请自行排查修改；STT没有用流式处理（懒），说短句子没有什么影响，发送长句子的话，有一部分时间也是浪费在这里了。

火山引擎使用HTTP连接API（因为火山的webscoket确实没有调通，才疏学浅见笑了），没有做到流式处理，反应时间部分浪费再了这里。

webscoket响应时间短，通信更流畅。

HTTP也够用，是比较传统的方式。

作者OS：我是软件方面的“新手”，目前算是用“用尽方法”实现了想要的功能，代码可供同道新人参考，高手一笑了之。如各位有意复刻此项目，请务必先下载源码进行编译测试，可编译通过再进行复刻尝试，如若不能还请三思。

编译环境如下

”

编译软件：ArduinoIDE 2.3.2

SDK： ESP32 SDK 2.0.13（开发板管理中下载）

使用主要库：TFT_eSPI 2.5.43 （库管理中下载）

U8g2_for_TFT_eSPI下载地址：https://github.com/Bodmer/U8g2_for_TFT_eSPI

开发板设置

文章的最后，总结一下工作原理：

ESP32S3使用INMP441接收声音
将pcm音频数据发送至讯飞STT语音识别服务转换为文字
再将文字发送至大语言模型API提问
最后将回答的文字发送至TTS语音合成服务
并通过MAX98357A播放音频

过程中用TFT触摸显示屏进行交互显示。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-18

开源Graph Builder：将文档转化为知识图谱

2025-09-18

Parlant：为企业级应用而生的开源LLM智能体框架，打造“AI员工监工”，让LLM可解释、可审计

2025-09-17

苹果 macOS 本地部署最新 GPT-5 CodeX，网友集体抛弃 Claude Code

2025-09-17

腾讯开源了个知识库系统，在飞牛NAS上部署玩玩！

2025-09-17

Qwen3-Next 首测！Qwen3.5的预览版？但为什么我的测试一塌糊涂？

2025-09-17

Microsoft 推出用于更长对话式 AI 音频的 VibeVoice 且开源

2025-09-16

[开源]Docling：AI时代的全能文档处理引擎

2025-09-15

如何使用 SGLang 部署 LongCat-Flash 模型

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

实测Qwen3-Coder，这就是目前最强的开源编程模型

2025-07-23

DeepSeek V3.1 Base / Instruct 发布

2025-08-20

阿里Qoder vs Trae vs Cursor：谁才是2025年程序猿的效率之王？

2025-09-07

Qwen3-Coder开源：面向世界的智能编程引擎

2025-07-23

有点东西！Qwen开源会写中文的生图模型Qwen-Image

2025-08-05

Kimi K2详测，Claude国产平替有了

2025-07-14

DeepSeek-V3.1-Base来了！MoE架构+128K上下文，性能再进化

2025-08-20

GLM-4.5 发布，六大主流模型混战测评，谁能一键生成“ 真·可用 ”的应用？

2025-07-29

Kimi K2 详测｜超强代码和Agent 能力！内附Claude Code邪修教程

2025-07-12

手把手教你本地部署！京东JoyAgent全攻略：从零拥有一个企业级的AI Agent

2025-07-31

大家都在问

Qwen3-Next 首测！Qwen3.5的预览版？但为什么我的测试一塌糊涂？

2025-09-17

Dify Pre-release版本来了，Dify2.0时代不远了，看看有哪些进步？

2025-09-09

Claude不让用，有哪些国产模型能迎头赶上？

2025-09-08

阿里Qoder vs Trae vs Cursor：谁才是2025年程序猿的效率之王？

2025-09-07

苹果深夜开源FastVLM：速度飙升85倍，0.5B小模型要逼疯谁？

2025-09-01

Coze开源了，为什么AI产品经理还是不会用？

2025-08-16

“入口”新变局：OpenAI开源模型+“口袋里的设备”，企业管理会发生变化吗？

2025-08-13

AI快讯：AI安全漏洞揭秘：副业者如何利用漏洞检测赚钱？

2025-08-11

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

用ESP32，做了个siri？！开源了！

ESP32S3使用INMP441接收声音

将pcm音频数据发送至讯飞STT语音识别服务转换为文字

再将文字发送至大语言模型API提问

最后将回答的文字发送至TTS语音合成服务

并通过MAX98357A播放音频

过程中用TFT触摸显示屏进行交互显示。