• 正文
  • 相关推荐
申请入驻 产业图谱

离在线语音识别芯片怎么接入大模型?

8小时前
76
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

离线语音芯片和大模型听起来是两个世界的东西。一个跑在端侧,断网也得干活;一个待在云端,能力还在不断涨。想把它们接在一起,难点从来不在模型本身,在中间那条链路怎么搭。识别结果怎么交出去,音频怎么传,回答从哪里播,断网了怎么办。

这篇文章按 WT2606A 系列的两颗芯片把组合方案拆开讲,两颗芯片分工不同,接大模型的姿势也完全不同。

一、先分清两颗芯片的分工

WT2606A3-42N 是离线语音识别芯片。32 位内核主频 160MHz,支持硬件浮点运算,内置 2MB 或 4MB SPI FLASH,QFN42 封装 4x5mm。离线唤醒、命令词识别、语音降噪、多格式解码播报都是它的活,本身不带联网。

WT2606A-64L-5W6 是系列里集成 WiFi 和蓝牙的版本。32 位 3 核处理器最高主频 192MHz,内置 DSP 带 IEEE754 单精度 FPU,KWS 离线唤醒加离在线双模识别,端到端兼容海内外主流 AI 大模型,WiFi 走 802.11b/g/n 直连路由器。插电固定设备用它,一颗芯片自己就能把大模型接进来。

所以接法先看设备站在哪里。位置固定、WiFi 覆盖稳定的,64L 单芯片闭环。位置在动、或者根本没有 WiFi 覆盖的,42N 管听和说,联网交给主控。有一条红线,64L 别装进送餐机器人这类移动设备,WiFi 覆盖跟着位置散掉,链路说断就断。

二、两条组合路线

路线一,64L 单芯片直连。适合智能中控、语音盒、智能家电这类插电且 WiFi 稳定的设备,识别和联网都在一颗芯片里。

★ WiFi 802.11b/g/n 接入,Concurrent SoftAP+STA 并发配网,不用拆机

★ 端到端兼容海内外主流 AI 大模型

★ AEC 全双工,边播报边听,中途插话接得住

★ Speex 和 Opus 流式编解码,云端音频交互不吃带宽

★ 双通道 24bit DAC 信噪比不低于 104dB,3W 单声道 D 类功放直推喇叭,免外接 LC 滤波器

链路是唤醒和常用命令词在端侧直接响应,复杂语义经 WiFi 交给云端大模型,回答音频流回本地播报,深度休眠小于 10μA,待机功耗也压得住。

路线二,42N 加整机主控。送餐机器人、外卖机器人、巡检设备这类移动设备走这条线。该芯片跑离线唤醒和命令词,识别结果通过 RX1、TX1 全双工 UART 交给主控,主控带着 4G 上云,把语义交给大模型,回答回来走芯片播报。

★ 离线唤醒加命令词识别,3 米远场可靠识别,断网不瘫

★ 打断唤醒和连续识别

★ 多麦克风 ENC 环境噪声消除

★ 双通道 24 位 DAC 信噪比大于等于 105dB

★ 解码格式含 OPUS,云端回传音频直接放

三、链路上四个要盯的点

断句。VAD 人声检测判断用户说没说完,断句切错,大模型收到的就是半句话,回答自然驴唇不对马嘴。阈值要按现场噪音环境调。

回声。设备自己在播报,麦克风里就有它自己的声音,不处理就会自己唤醒自己。42N 把 AEC0 脚接到功放的音频参考,64L 端侧 AEC 全双工,这一步不做,后面全白搭。

弱网。Speex 和 Opus 流式编解码在两颗芯片端侧都有,弱网环境优先 Opus,压缩率和时延都占优。

打断。打断唤醒和连续识别是两颗芯片共有的能力。用户不等它讲完就改口,链路要能立刻掐断播报重新进识别,大模型对话才像对话。

还有一层,大模型给回来的是文本时,变量内容要用 TTS 合成,桌号、金额、天气这类播报交给 WT3000TX,预置语音走芯片本地的解码播报。

四、选型速查表

场景 推荐组合 联网方式
插电固定,WiFi 稳定 WT2606A-64L-5W6 单芯片 自带 WiFi,端到端接大模型
移动设备,有主控 WT2606A3-42N 加机器人主控 主控带 4G 上云
大模型文本回转变播报 加 WT3000TX TTS 实时合成

技术参数依据 WT2606A3-42N 芯片资料 V1.01 与 WT2606A-64L-5W6 芯片资料说明书 V1.02,配套型号以各自规格书与联调结果为准。

自检清单

□ 设备位置会不会变,固定上 64L,移动上 42N

□ 唤醒词和命令词是否在端侧闭环,断网还能不能干活

□ VAD 断句阈值是否按现场噪音调过

□ AEC0 回声参考是否接到功放输出

□ 弱网时编解码是否切到 Opus

□ 打断播报的信号链路是否验证过

□ 芯片与主控的 UART 协议是否对齐

□ 大模型文本回答的 TTS 合成链路是否打通

唯创知音

唯创知音

深圳唯创知音电子有限公司位于广东省深圳市宝安区,1999年成立于广州。历经二十多年的发展,公司已成为集研发、生产、销售和服务于一体的,专注于语音技术研究、语音产品方案设计及控制等软、硬件设计的国家高新技术企业。业务范围涵盖家电、医疗器械、安防报警、汽车电子多媒体、通信、电话录音、工业自动化控制、玩具及互动消费类产品等领域,公司的集成芯片和模块主要有:播放类、录音类、MP3类、蓝牙WiFi类、语音识别类。

深圳唯创知音电子有限公司位于广东省深圳市宝安区,1999年成立于广州。历经二十多年的发展,公司已成为集研发、生产、销售和服务于一体的,专注于语音技术研究、语音产品方案设计及控制等软、硬件设计的国家高新技术企业。业务范围涵盖家电、医疗器械、安防报警、汽车电子多媒体、通信、电话录音、工业自动化控制、玩具及互动消费类产品等领域,公司的集成芯片和模块主要有:播放类、录音类、MP3类、蓝牙WiFi类、语音识别类。收起

查看更多

相关推荐