这阵子 X 上到处是 ESP32 做的小东西：会聊天的桌面机器人、按住说话的 AI 对讲机、替 AI 点手机屏幕的小板子。
想自己也弄一块，打开购物软件一搜，几百个结果，名字后面跟着 S3、C6、N16R8；去 GitHub 找项目，又是一个比一个火。
10 月 12 日我下单了一块立创实战派 ESP32-S3，一周里从刷小智做到给 Pi 做了一个桌面审批小助手。这一周发的二十来条帖子里，收藏最多的不是我的实操，而是“型号怎么选”“开源项目盘点”“学习资源清单”。新手卡住的，基本都是“选”。
所以这篇只讲清楚一件事：选 ESP32，先想清楚要做什么，再挑开源项目，最后让项目决定买哪块板子。
想做什么 → 挑开源项目 → 照着项目买板子
先把结论放在这里，后面每一章都是在展开它：
- 会聊天的桌面助手：先试小智 AI，板子从小智支持列表里挑 S3，或者直接买淘宝成品小智；
- 智能家居：先试 ESPHome，普通 ESP32、C3、C6 开发板都行；
- 给自己的 Agent 装个身体：看你在用哪个 Agent，Muse Gadgets、Hermes Gadget SDK、pi-buddy 都能用 S3 开发板，其中 pi-buddy 只支持立创实战派；
- 会转头的桌面机器人：Groki Bot，要 M5Stack CoreS3 加 Stack-chan 底座；
- 让 AI 操作手机：esp32-iphone-agent，作者用的是 Seeed XIAO ESP32S3；
- AI 眼镜：Omi Glass，要 XIAO ESP32-S3 Sense 等配套硬件。
想玩 AI，认准 ESP32-S3 N16R8，新手从小智开始。
文中价格是 2026 年 10 月中旬的记录，开源项目的星数按 10 月 19 日的 GitHub 统计，以后都会变，以你看到的为准。焊电路、写驱动、做外壳，这篇都不涉及。
一、ESP32 是什么？小智又是什么？
ESP32：一颗便宜、能联网的芯片
ESP32 是乐鑫推出的一系列芯片，最大的特点是便宜，又自带 Wi-Fi 和蓝牙。二三十块就能买到一块开发板，上面留着一排引脚，可以接灯、接传感器、接电机。
以前它主要用在智能家居里：智能插座、温湿度计、自动浇花。现在多了一层用法：它可以把声音、画面和按键送给大模型，再把模型的回答变成语音、表情或者一个动作。
常见的玩法有三类：
- 智能家居：接灯光、继电器、温湿度传感器，做智能开关、自动浇花、家居控制面板；
- AI 语音助手：接麦克风、喇叭、屏幕，做能陪你聊天的桌面机器人；
- 机器人和小车：接电机、舵机、摄像头，做遥控小车、会转头的桌面机器人。
三类可以叠加，但先选一类作为起点。后面选芯片、选项目、买板子，都从这里出发。
为什么是现在？Agent 开始有了身体
以前用 ESP32 做语音玩具，回答问题的是一个通用的大模型。10 月开始，它被直接接到了个人 Agent 上。
10 月 2 日，Meta 开源了 Muse Gadgets，ESP32-S3 刷上官方固件，就能变成 Muse 的按键对讲设备。10 月 4 日前后，社区做了 Hermes Gadget SDK，按住说话，问题直接发给你自己部署的 Hermes Agent。同一周，又冒出一批让 ESP32 替 AI 操作 iPhone 的项目。
Muse 是 Meta 的个人 AI 助手，装个手机 App 就能用；Hermes Agent 是 Nous Research 开源的个人 Agent，部署在自己的电脑或服务器上，大模型随便换，还会记住你、自己攒技能。
Agent 不再只活在终端和聊天框里。几十块的板子，就能当它的耳朵、嘴巴和手。
小智：这个圈子绕不开的名字
看 ESP32 的 AI 项目，几乎处处都会碰到“小智”。它是一个开源的 AI 语音方案，GitHub 仓库 78/xiaozhi-esp32，10 月 19 日约 3.15 万星，MIT 协议。2024 年 8 月开源，一年多做到了乐鑫官方语音框架 esp-adf（约 2,300 星）十几倍的关注度。
它在生态里的位置，相当于一个公共底座。 很多成品 AI 小机器人刷的是它，很多人的二次开发也是从它改起，我的 pi-buddy 也一样。
小智分成三层，每一层都可以单独换：
固件：刷进板子，负责录音、播放、屏幕和唤醒，用 78/xiaozhi-esp32 发布的现成固件就行。
后台：负责识别你说的话、调大模型、合成语音。可以用官方托管的 xiaozhi.me，也可以用开源服务端 xinnan-tech/xiaozhi-esp32-server（约 1.09 万星）自己搭。
大模型：真正决定怎么回答的那一个。后台里能选 Qwen、DeepSeek 等，自建后台还能接自己的 Agent。
板子、后台、大模型是三件可以分开选的事。 板子决定它能听、能看、能显示什么；后台决定数据走谁的服务器；大模型决定它聪不聪明。买板子时只需要管第一件，后两件刷好以后随时能换。
没有板子也能先体验：py-xiaozhi（约 3,500 星）可以在电脑上跑一个小智客户端。
二、S3、C3、C6……芯片该选哪个？
先认家族
刚开始研究的时候，我以为 ESP32 就是一块开发板。查下来才发现，它是一整个芯片家族，不同型号擅长的事情完全不一样：
- ESP32 经典版：Wi-Fi、经典蓝牙和 BLE 都有，生态最成熟，适合学习传感器和电机控制；
- ESP32-C3：低成本、低功耗，适合智能开关、LED 和简单的物联网设备；
- ESP32-S3：双核 240MHz，带加速 AI 计算的指令，AI 语音助手和摄像头识别基本都用它；
- ESP32-C6：支持 Wi-Fi 6、Zigbee 和 Thread，适合 Matter 智能家居；
- ESP32-C5：2.4GHz 和 5GHz 双频 Wi-Fi 6，适合对无线连接要求更高的设备；
- ESP32-H2：低功耗 Zigbee 和 Thread，不带 Wi-Fi，适合做智能家居里的低功耗节点；
- ESP32-S31 和 P4：更高性能的进阶系列，适合复杂屏幕交互、视觉和边缘 AI。
拿不准的时候，去乐鑫官网的产品选型工具，把几个型号勾在一起对比参数。
ESP32-S31 是乐鑫今年 3 月发布、7 月量产的新芯片，双核 RISC-V，主频 320MHz，带 Wi-Fi 6、蓝牙 5.4 和以太网。P4 性能更强，但本身不带无线，要搭配其他芯片才能联网。
按想做的事对号入座
只是点灯、接传感器，先入个门，选 C3；做智能家居和 Matter，选 C6；复杂视觉和大屏项目，再考虑 S31、P4。
想玩 AI，基本就是 S3。 开头列的那些 AI 项目，几乎全部跑在 S3 上，小智支持的绝大多数板子也是 S3。不用追最新的型号，能把项目做出来最重要。
三、想做什么，就从哪个项目开始
芯片定了，先别急着下单。每个项目都有自己的硬件清单，同样是 S3，这个项目能跑，换一个项目可能就不支持。 先把项目挑好，再照着它的清单买板子。
会聊天的桌面助手：小智
想要一个能语音聊天、屏幕上有表情、还能帮你控制点东西的桌面助手，直接用小智。它能语音唤醒、实时对话，接 Qwen、DeepSeek 等大模型，还能通过 MCP 这个标准接口控制灯光、电机和电脑上的工具。
这是我刷好小智、把唤醒词改成“你好 Claude”、表情换成像素小怪以后的样子。资源包我开源了： xiaozhi-claude-pixel，同款板子可以直接用。
下单前，先去它的支持列表里找你的板子。 列表就是仓库里的 main/boards 目录，按厂商分文件夹，乐鑫、M5Stack、立创、微雪、LILYGO 都在里面。我那块立创实战派在 lckfb/szpi-esp32s3。列表里有的板子，发布页就有现成固件，不用自己编译。
后台先用官方的。 xiaozhi.me 注册就能免费用，模型也够选。想接自己的模型或者自己的 Agent，再用开源服务端自建。
我是在跑 Hermes Agent 的那台服务器上，让 Claude Code 照着项目文档用 Docker 部署的，装好以后在网页上管理设备、角色和模型。自建之前想清楚三件事：
- 服务器：官方镜像只支持 x86，ARM 服务器要自己编译镜像。服务器在海外能用，偶尔吐字会卡顿；
- 改地址：板子默认连官方服务器，要在配网页面的“高级选项”里，把 OTA 地址换成自己服务器的；
- 安全：后台跑在公网上，部署完第一时间改掉默认密码，管理网页别直接暴露，密钥只放在服务器配置里。
智能家居、眼镜、玩偶
不想做语音助手，这几个方向也有成熟的项目：
- ESPHome（约 1.19 万星）：做智能家居。用 YAML 配置传感器、灯光和继电器，接入 Home Assistant，普通 ESP32、C3、C6 开发板都能用；
- Omi Glass：做第一视角的 AI 眼镜，要配 XIAO ESP32-S3 Sense 等硬件。常看到的 1.38 万星是整个 Omi 仓库的数字，眼镜只是其中一个子项目；
- ElatoAI（约 2,060 星）：专做会说话的 AI 玩偶，用 ESP32-S3，具体配件按项目 README 的清单买；
- 乐鑫 esp-adf、esp-sr、esp-skainet：官方的底层框架，扎实但要自己写代码，配乐鑫官方开发板最省事。
有一个要避开：OpenAI 的 openai-realtime-embedded（约 1,580 星），最后更新停在 2025 年 3 月，已经不维护了。
GitHub 上 400 星以上的开源语音方案，除了小智也就 8 个左右。拿不准就选小智，社区最大，遇到问题最容易搜到答案。
给自己的 Agent 装个身体
这是这一波最新的玩法。项目都很新，挑你已经在用的那个 Agent：
- 在用 Muse，试 Muse Gadgets（约 2,290 星）：门槛最低。Meta 官方开源，Apache-2.0 协议，ESP32-S3 刷上官方固件，在 Muse 后台拿一个 SDK token，就能和手机上的 Muse App 配对，树莓派和 Linux 也能跑；
- 自己部署了 Hermes，试 Hermes Gadget SDK（约 410 星）：MIT 协议，按住说话，设备直接用语音回答，还能在设备上回答确认问题、接收卡片。自带桌面模拟器，没有板子也能先试，前提是你已经有一个跑着的 Hermes，语音识别和合成也配好了；
- 在用 Pi，试 pi-buddy：我自己做的，要立创实战派 ESP32-S3 和一台 Mac，放在文章最后细说；
- 在用 Grok Bot，试 Groki Bot（约 140 星）：硬件是 M5Stack CoreS3 加 Stack-chan 底座，便宜点也要三五百块。摸它会有表情反应，你走动的时候，它靠 Mac 的摄像头认出你的脸，转头跟着你。现在可以直接用 Grok Bot App 自带的原生语音，不过原生语音目前只支持 macOS。
让 AI 操作手机
这个方向更适合看思路，日常用还早：
- esp32-iphone-agent（约 3,200 星）：MIT 协议，不用越狱，最新版运行时不用电脑。开发板当眼睛和手：它开一个热点，iPhone 用“屏幕镜像”投屏给它，它再通过蓝牙把画面转给同一台 iPhone 上的 App；App 截图发给能看图的模型，决定下一步；开发板插在 iPhone 上被识别成鼠标和键盘，点击就是点屏幕。作者用的是 Seeed XIAO ESP32S3，大约 7 美元。缺点是慢，每一步都要调一次看图模型、都在花 token；第一次刷板子、装 App，还得借一台装了 Xcode 的 Mac；
- anan-iphone-use（约 120 星）：思路反过来，Agent 跑在 iPhone 上自己截屏，ESP32（M5Stack StopWatch）替它点和滑。GPL-3.0 协议，想商用要注意；蓝牙输入还是实验状态，作者自己都说“很酷但没什么用”。
星数只说明有人关注
上面每个项目都标了星数，但它只能帮你发现项目，不能替你判断。挑项目时再看三样：最近还有没有更新，硬件清单里有没有你的板子，协议允不允许你的用法。
四、照着项目买板子：先看懂 N16R8
名字后面那串字母
同样写着 ESP32-S3，几十块和几百块的开发板差别可能非常大。商品名里最值得看的是这一串：
N16：16MB Flash，相当于硬盘，存固件、表情和唤醒词模型。
R8：8MB PSRAM，相当于额外的内存，运行时用。
跑小智这类 AI 语音方案，认准 ESP32-S3 N16R8。同价位也有 N4 或者干脆不带 PSRAM 的板子，刷上去能开机，一加表情和唤醒词就内存不够、反复重启，下单前看清后缀。
还有一个容易被忽略的词：板型。同样是 S3，不同板子的屏幕、麦克风和接线都不一样，项目要专门为它适配过才能用。这就是为什么要先查支持列表，而不是只看芯片型号。
三条路线，先对号入座
- 面包板 DIY，50 到 80 块：适合想弄懂原理、愿意花时间接线的人；
- 成品小智，60 到 100 块：适合只想体验，或者买来送人的人；
- 一体开发板，100 块以上：适合想二次开发、接自己 Agent 的人。
想学原理就面包板，想省事就成品，想玩出花样直接上一体板。
面包板 DIY：学原理，门槛在接线
自己买散件，在面包板上插出来。一套下来大概是这些：
- ESP32-S3 N16R8 开发板：25 到 36 块；
- INMP441 麦克风：4 到 9 块；
- MAX98357A 功放：3 到 6 块；
- 喇叭：5 块左右；
- 0.96 寸 OLED 屏和面包板：十几块。
社区里有人实际下单含运费 48 块，流传比较广的丐版清单是 64 块。照着小智官方的接线表插杜邦线就行，不用焊接，麦克风记得买焊好排针的。插错一根线就没声音，适合愿意折腾的人。
成品小智：省事，先问清后台
淘宝上的成品小智，常规价 60 到 100 块，带屏幕、电池和外壳，到手就能聊。有人叠券 35 块就拿下了，比自己买散件还便宜。
下单前问清楚两件事：芯片是不是 S3 N16R8，后台服务由谁在维护。 后台停了，设备就只剩一个壳。成品通常不方便二次开发，想接自己的 Agent 就别走这条。
一体开发板：我选的路线
一体开发板把屏幕、麦克风、喇叭、摄像头都做在一块板上，二次开发的空间最大。
我买的是立创实战派 ESP32-S3，型号 LCKFB-SZPI-ESP32-S3-VA，10 月官网 148 块，新用户首单减 20，到手 128。
- 芯片：ESP32-S3，双核 240MHz，16MB Flash 加 8MB PSRAM；
- 交互：2 英寸触摸屏、双麦克风、1W 喇叭；
- 感知：30 万像素摄像头、姿态传感器；
- 接口：Type-C，插上数据线就能供电和刷机。
它在三条路线里刚好卡在中间：比成品贵，但能改；比面包板贵，但不用接线。我看重的是，开头列的几条路它都走得通。 小智、自建后台、pi-buddy 都支持它，原理图和中文例程也全部开源。
开箱以后很简洁，一个小主机加几根杜邦线。建议顺手配一张 SD 卡，板子本身的 Flash 不大，以后想存音频和视频会方便很多。
不一定非要买立创。M5Stack、乐鑫 ESP-BOX、微雪也都在小智的支持列表里，按你选的项目来定。
ESP32 不够用的时候
如果你想认真做本地 AI 视觉，比如物体识别、智能监控、视觉机器人，ESP32 的算力就不太够了。这时可以看 Sipeed 的 MaixCAM2。
它不是 ESP32，用的是爱芯 AX630 芯片，跑 Linux，相当于一台小主机：1GB 或 4GB 内存，NPU 算力 3.2 TOPS（INT8），4K 摄像头，支持 Python 开发和 YOLO 离线推理。适合高级玩家，只是想体验 AI 接硬件，前面三条路完全够了。
五、板子到了，第一周怎么走？
一条不容易出错的路线
不要第一天就把所有东西都做一遍。按这个顺序走，哪里出错都容易找：
- 先认板子：插上电脑，确认板子能被认出来，芯片和 Flash 跟商品页一致；
- 再刷小智：刷好以后先用官方后台聊几句；
- 然后换形象：改名字、音色、表情和唤醒词；
- 最后接 Agent：有余力，再自建后台、接自己的 Agent。
前三件，一个周末就能走完。 命令都可以交给 Claude Code 去敲，我自己全程没写一行代码。开头可以直接发这段：
我买了一块 ESP32-S3 开发板，型号是【你的板子型号】，想刷小智 AI：https://github.com/78/xiaozhi-esp32
请先读项目 README 和 main/boards 目录，确认我的板子在不在支持列表里，告诉我该下载哪个固件。
动手前先把板子原来的固件整片备份下来；每一步执行前，先告诉我要运行什么命令。接自己的 Agent 之前，先有个心理准备。我把板子接到自己的 Hermes Agent 上时，说完一句话要等 5 到 10 秒才有回应。原因是我把每一段接成了串行：录完整句才识别，识别完才给模型，模型写完才合成，合成完才播放。小智官方能秒回，靠的是每一段边做边往下传。
先确认板子和网络没问题，再换后台，最后才换成自己的 Agent，每次只改一段。
资料什么时候查
走小智这条路，前三件事用不上编程资料。等你想自己写程序、接传感器，再看这些：
- 板子文档：买了实战派的先看 立创实战派 S3 官方文档，原理图和中文例程全开源；
- 入门教程：第一次自己写程序，从 Arduino-ESP32（约 1.76 万星）和 Random Nerd Tutorials 开始；
- 官方手册：想认真做产品，看 ESP-IDF 编程指南（有中文版）和 ESP-IDF 仓库（约 1.93 万星），门槛是 C 语言和环境配置；
- 找灵感：入门以后想做点东西，翻 awesome-esp（约 2,760 星）和 esp-iot-solution（约 2,700 星）。
看不懂也没关系。以前玩硬件，要先啃芯片手册、自己写 C 语言；现在把文档链接丢给 Claude Code 或 Pi，让它读完再讲给你听，报错也直接甩给它。
新手最容易踩的 10 个坑
真正让新手头疼的，往往不是代码，而是各种莫名其妙的硬件问题：
- 电脑识别不到开发板：先换一根能传数据的线，再检查 CH340、CP210x 等串口驱动；
- 固件一直烧录失败：出现 Failed to connect 时，按住 BOOT、点一下 RESET、松开 BOOT 再烧，再检查端口有没有被其他软件占用；
- 烧录成功，串口没有输出：检查波特率，常见是 115200；S3 用原生 USB 时，检查 USB CDC On Boot 设置和串口选择；
- Wi-Fi 怎么都连不上：ESP32 和 S3 只支持 2.4GHz，先用 2.4GHz 的手机热点测试；
- 开发板频繁重启：接了屏幕、电机以后先查供电，电机舵机最好独立供电并共地，GPIO 不能直接接 5V；
- GPIO 接了设备没反应：部分引脚被 USB、Flash、PSRAM 或启动功能占用，接线前先查引脚图；
- 内存不足、程序崩溃：确认 Flash、PSRAM 容量，烧录时选对 Flash Size、PSRAM 模式和分区方案；
- 蓝牙耳机连不上：ESP32-S3 只有 BLE，没有经典蓝牙，不能直接用普通的蓝牙音频方案；
- 屏幕黑屏、麦克风没声音：多半是板型选错了，换成支持列表里对应你板子的固件；
- 跟着旧教程全是报错：框架和库的版本变了，优先看项目当前 README 的版本要求。
还有两个我自己踩过的：唤醒词模型用 mn6_cn 会占满芯片内存、开机反复重启，换成 mn7_cn 才稳；小智官方的 MCP 计算器示例会直接执行 AI 传来的代码，跑通可以，长期用要自己加防护。
六、一块板子能走多远？我给 Pi 做的审批小助手
前面讲的大多是别人的项目。最后说说我自己做的这个，它刚好把前面几章串起来：S3 N16R8 的一体板，小智当底座，二次开发以后接到自己的 Agent 上。
Pi 是一个开源的编程 Agent，在终端里替你读代码、改代码、跑命令。用它写代码，最烦的是盯着终端等它执行危险命令。我就想，能不能让桌上的板子替我盯着。于是基于小智做了二次开发，给 Pi 做了一个桌面硬件伙伴 pi-buddy，屏幕上是我按 Pi 学习蓝皮书形象画的吉祥物“P 仔”。
Pi 要执行命令时，P 仔弹出请示，允许以后，Pi 才继续执行。它现在能做三件事：
- 状态同步：P 仔跟着 Pi 的状态变化，思考、执行、完成、出错，一眼就知道 Pi 在干活还是卡住了；
- 危险命令在板子上审批：rm -rf、sudo、git push --force、npm publish、把 curl 的内容直接交给 sh 执行，这类命令会被拦下来请示。可以点屏幕，可以按 BOOT 键，也可以说“允许执行”，120 秒不回答就算拒绝。像 ls 这样的普通命令不会打扰你；
- 语音派活：对着板子说一句话，任务派回给正在运行的 Pi。这一项还没在真机上验证。
按键这里我改过一次设计。一开始是点按允许、长按拒绝，后来反过来了：长按到一半手松了，如果算允许，危险命令就放过去了。现在按到一半松手算拒绝，宁可多拒一次。
它由三块组成，Pi 本身不用改：
Pi 插件 → Mac 上的桥接程序 → 实战派开发板
Pi 插件：把 Pi 的状态和审批请求，通过本机 HTTP 发给桥接程序。
桥接程序：跑在 Mac 上，通过局域网 WebSocket 和板子通信。板子会自动发现它，第一次连接时屏幕显示 6 位配对码，在 Mac 上确认一次就配好了。
固件：在小智的基础上加了一个自定义板型，画 P 仔界面，处理按键和语音审批。
项目已经开源： xiaomoBoy/pi-buddy，MIT 协议，Pi 插件、桥接程序和固件都在这一个仓库里。
- 需要什么：立创实战派 ESP32-S3、一台 Mac、Pi。不用自己编译，去仓库的 Release 下载固件和 P 仔资源包两个文件，按说明刷进板子就行，刷机可以交给 Claude Code。目前只支持 Pi，Claude Code 和 Codex 的插件还是占位；
- 没有板子：桥接程序自带一个网页模拟器，浏览器打开就能看到 P 仔，审批流程和真机一样，可以先玩起来。
从会聊天，到能替 Agent 把关，这一路我都没有手写代码。每一步都是先把需求说清楚，再让 Agent 去读文档、敲命令，我在关键步骤看一眼。
最后
再说一遍这篇的主线：
想做什么 → 挑开源项目 → 照着项目买板子
玩 AI 认准 S3 N16R8，新手从小智开始，资料等用到了再查。
128 块钱的一块板子，从一个会陪你聊天的小玩意，到一个能替 Agent 把关的桌面伙伴，中间每一步都有现成的开源项目可以借。
下一步我想给它加上电池和 4G 模块，出门也能带着用，不用一直插着线、连着手机热点。等真正装好了，再单独分享。
如果这篇文章对你有帮助，希望你可以转发给身边想玩 AI 硬件的朋友，也可以关注我 @xiaomovps。我会持续分享 AI 工具、Agent 和硬件的实操教程。
