AI智能交互系统

eefocus_4040514

AI智能交互系统

融合人脸状态检测与智能语音对话的创新AI解决方案

项目概述

本项目是一个集成了先进计算机视觉与自然语言处理技术的AI系统，通过树莓派硬件平台实现两大核心功能：

1、人脸状态实时检测 - 监测疲劳、分心等危险状态

2、AI语音对话助手 - 提供智能交互体验

系统采用模块化设计，通过GPIO引脚电平触发不同功能模块，实现资源高效利用。特别适用于驾驶安全监控、智能家居控制、教育辅助等场景。

人脸状态检测系统

使用这些技术栈: OpenCV、dlib、NumPy、FFmpeg。其中基于dlib库的人脸关键点检测技术，实时分析用户面部状态，提供多维度安全预警：

疲劳检测

通过眼睛纵横比(EAR)算法检测闭眼时长，超过3秒即判定为疲劳状态

打哈欠识别

基于嘴部纵横比(MAR)检测打哈欠行为，持续2秒以上触发疲劳警报

头部姿态分析

计算俯仰角(Pitch)和偏航角(Yaw)，检测低头(<30°)或转头(>90°)等分心行为

AI语音对话助手

使用这些技术栈:  Python、PyQt5、asynci、qasync。

"小智"AI助手提供自然流畅的语音交互体验，支持多种运行模式和通信协议：

双模式运行

支持图形界面(GUI)和命令行(CLI)两种交互方式，适应不同使用场景

灵活通信

可配置MQTT或WebSocket协议，实现设备间高效数据传输

安全激活

内置设备激活流程，确保系统安全启动

作品实物图

演示视频

1. https://www.bilibili.com/video/BV14R6nBqEoS/?vd_source=16415ffd94a84741dada2c25f5834c63

复制代码

[media=x,500,375][/media]

总结

本次活动预先使用FRDM-IM93的，它内部集成0.5 TOPS NPU，不外接设备的情况下AI性能是比树莓派5高的，本来系统啥的都搭建好了但是一不小心带电操作了，把杜邦线怼到开发板里了，于是就整了一个树莓派5凑合用着，后面把FRDM-IM93的电源芯片换一下 ，它就又是一条好汉，在重新部署一下。

项目文档

通过网盘分享的文件：AI智能交互系统.zip

链接: https://pan.baidu.com/s/1Tp6hUt5yrMSeu3Qykhr_uA?pwd=xtm2 提取码: xtm2