离线语音芯片和大模型听起来是两个世界的东西。一个跑在端侧,断网也得干活;一个待在云端,能力还在不断涨。想把它们接在一起,难点从来不在模型本身,在中间那条链路怎么搭。识别结果怎么交出去,音频怎么传,回答从哪里播,断网了怎么办。
这篇文章按 WT2606A 系列的两颗芯片把组合方案拆开讲,两颗芯片分工不同,接大模型的姿势也完全不同。
一、先分清两颗芯片的分工
WT2606A3-42N 是离线语音识别芯片。32 位内核主频 160MHz,支持硬件浮点运算,内置 2MB 或 4MB SPI FLASH,QFN42 封装 4x5mm。离线唤醒、命令词识别、语音降噪、多格式解码播报都是它的活,本身不带联网。
WT2606A-64L-5W6 是系列里集成 WiFi 和蓝牙的版本。32 位 3 核处理器最高主频 192MHz,内置 DSP 带 IEEE754 单精度 FPU,KWS 离线唤醒加离在线双模识别,端到端兼容海内外主流 AI 大模型,WiFi 走 802.11b/g/n 直连路由器。插电固定设备用它,一颗芯片自己就能把大模型接进来。
所以接法先看设备站在哪里。位置固定、WiFi 覆盖稳定的,64L 单芯片闭环。位置在动、或者根本没有 WiFi 覆盖的,42N 管听和说,联网交给主控。有一条红线,64L 别装进送餐机器人这类移动设备,WiFi 覆盖跟着位置散掉,链路说断就断。
二、两条组合路线
路线一,64L 单芯片直连。适合智能中控、语音盒、智能家电这类插电且 WiFi 稳定的设备,识别和联网都在一颗芯片里。
★ WiFi 802.11b/g/n 接入,Concurrent SoftAP+STA 并发配网,不用拆机
★ 端到端兼容海内外主流 AI 大模型
★ AEC 全双工,边播报边听,中途插话接得住
★ Speex 和 Opus 流式编解码,云端音频交互不吃带宽
★ 双通道 24bit DAC 信噪比不低于 104dB,3W 单声道 D 类功放直推喇叭,免外接 LC 滤波器
链路是唤醒和常用命令词在端侧直接响应,复杂语义经 WiFi 交给云端大模型,回答音频流回本地播报,深度休眠小于 10μA,待机功耗也压得住。
路线二,42N 加整机主控。送餐机器人、外卖机器人、巡检设备这类移动设备走这条线。该芯片跑离线唤醒和命令词,识别结果通过 RX1、TX1 全双工 UART 交给主控,主控带着 4G 上云,把语义交给大模型,回答回来走芯片播报。
★ 离线唤醒加命令词识别,3 米远场可靠识别,断网不瘫
★ 打断唤醒和连续识别
★ 多麦克风 ENC 环境噪声消除
★ 双通道 24 位 DAC 信噪比大于等于 105dB
★ 解码格式含 OPUS,云端回传音频直接放
三、链路上四个要盯的点
断句。VAD 人声检测判断用户说没说完,断句切错,大模型收到的就是半句话,回答自然驴唇不对马嘴。阈值要按现场噪音环境调。
回声。设备自己在播报,麦克风里就有它自己的声音,不处理就会自己唤醒自己。42N 把 AEC0 脚接到功放的音频参考,64L 端侧 AEC 全双工,这一步不做,后面全白搭。
弱网。Speex 和 Opus 流式编解码在两颗芯片端侧都有,弱网环境优先 Opus,压缩率和时延都占优。
打断。打断唤醒和连续识别是两颗芯片共有的能力。用户不等它讲完就改口,链路要能立刻掐断播报重新进识别,大模型对话才像对话。
还有一层,大模型给回来的是文本时,变量内容要用 TTS 合成,桌号、金额、天气这类播报交给 WT3000TX,预置语音走芯片本地的解码播报。
四、选型速查表
| 场景 | 推荐组合 | 联网方式 |
|---|---|---|
| 插电固定,WiFi 稳定 | WT2606A-64L-5W6 单芯片 | 自带 WiFi,端到端接大模型 |
| 移动设备,有主控 | WT2606A3-42N 加机器人主控 | 主控带 4G 上云 |
| 大模型文本回转变播报 | 加 WT3000TX | TTS 实时合成 |
技术参数依据 WT2606A3-42N 芯片资料 V1.01 与 WT2606A-64L-5W6 芯片资料说明书 V1.02,配套型号以各自规格书与联调结果为准。
自检清单
□ 设备位置会不会变,固定上 64L,移动上 42N
□ 唤醒词和命令词是否在端侧闭环,断网还能不能干活
□ VAD 断句阈值是否按现场噪音调过
□ AEC0 回声参考是否接到功放输出
□ 弱网时编解码是否切到 Opus
□ 打断播报的信号链路是否验证过
□ 芯片与主控的 UART 协议是否对齐
□ 大模型文本回答的 TTS 合成链路是否打通
76
