《2025 DigiKey AI应用创意挑战赛》基于树莓派的瓜果蔬菜自动识别

yinwuqing

一、项目名称

         基于树莓派的瓜果蔬菜自动识别

二、项目概述
       本次创意挑战赛使用在DigiKey平台上购买的Raspberry Pi 5与自备的HiSpark IPC DIY Camera，通过OpenCV+TensorFlow Lite+轻量级 SSD MobileNet 模型，摄像头实时捕捉画面，自动识别常见水果与蔬菜，比如苹果、香蕉、橘子、西红柿等，并且在画面上绘制中文标签与检测标注框，识别阀值等信息。支持中文界面显示，模拟模式（无模型时）与真实模型模式、图像保存、阈值调整、颜色空间测试等功能，具备较好的交互性与实用性。

三、作品实物图

四、工作流程图

五、环境说明
       本次项目是基于Raspberry Pi OS 64位系统，前期工作可借助PuTTY远程进行环境的搭建。将32GB的TF卡烧录完Raspberry Pi OS 64位系统镜像后，供电开机，连接鼠标、键盘设备。系统登录后，在根目录下创建一个命名为“ssh”的空文件，或者启动系统终端，输入“sudo systemctl enable ssh“及”sudo systemctl start ssh”命令，即可在树莓派上启用SSH功能。然后将树莓派连接到与电脑同一个WiFi路由器下，终端ifconfig查询ip地址，确保与电脑在同一网段下。接下来，在电脑端关闭防火墙，然后打开PuTTY，选择SSH协议，Host Name中输入树莓派的IP地址，端口号默认为22，首次连接会弹出安全警告，点击Accept即可。在启动后的界面中输入树莓派系统用户名与个人秘钥，则可通过该终端远程访问到树莓派。

●硬件平台
          ①、树莓派5，8GB内存版
          ②、HiSpark IPC DIY Camera（这里只做普通USB摄像头使用）
          ③、32GB MicroSD卡
          ④、官方树莓派27W电源适配器
          ⑤、AOC显示器与一条micro HDMI数据线

●软件平台
          ①、Raspberry Pi OS 64位操作系统
          ②、Python版本3.11（更新系统至最新版本不能获取tflite-runtime兼容版本包）
          ③、pip 25.1.1
          ④、opencv-python 4.9.0.80
          ⑤、TensorFlow Lite 2.14.0
          ⑥、NumPy 1.24.3
          ⑦、Pillow (PIL) 10.1.0
          ⑧、ssd_mobilenet_v1_1.0_quant.tflite（COCO数据集模型）

六、配置运行环境
        通过PuTTY进行系统更新软件，安装必备的核心依赖库。

七、工程源码
       完成上述的环境配置后，编写"vegetable_detector_cn.py"源文件，安装支持中文界面显示字库，下载COCO数据集模型，并存放在"vegetable_detector_cn.py"文件所在同级目录下的data文件夹中"models/ssd_mobilenet_v1_1.0_quant.tflite"，首次运行目录下如果没有该模型文件，则程序会询问是否下载，选择"y"则下载COCO数据集模型，工程源码包见如下附件。

vegetable_recognition.zip (2.71 MB, 下载次数: 0)

2026-1-31 20:45 上传

点击文件名下载附件

八、效果展示
       预览界面可通过鼠标点击保存按钮（或按快捷键‘s’）对当前检测画面的图像进行保存。源码中设定了10个瓜果类型标签，实测了香蕉、苹果、橘子、西红柿，效果见如下图片展示。置信度可调节，同张画面下最多可检测3个果实。

     手机实拍记录一下，由于搭建摄像头需要支起一定高度，同时覆盖显示屏画面，因而拍摄角度不便，笔者只能将图片、视频进行旋转，烦请耐心观看。

九、演示视频


十、后记
      实测过程中，由于是采用了现成的COCO模型，虽包含常见水果蔬菜，但仍有一些品种没法正常识别。**如用手动采集数据，进行模型训练，再转成tensorflow所支持的类型文件，可能识别的置信度更高更准确。当然手动采集数据比较费时，瓜果蔬菜种类也挺多的，需要花一定的时间完善。通过此次项目的调试，深刻体会到，这类机器视觉应用有诸多因数关乎识别效果。
      1、摄像头需具备自动聚焦功能，刚开始使用的一个摄像头采用定焦镜头，而且贴了滤光片，感光识别不灵敏。
      2、摄像头聚焦清不清晰，光线是否匀称，与识别效果有明显关系。
      3、模型的选配很重要，尤其是针对瓜果蔬菜这类物品，比如个头大小、颜色深浅、摆放角度等不同，则会造成识别错误。由于是采用本地式的数据模型，覆盖面也有一定的局限性，如果接入网络应用接口，可能识别范围会更广，更精准。
      下面是笔者在尝试做手动数据采集与模型训练，但实测后的识别效果也不是很理想，可能跟图片处理有关系吧。此次分享告一段落，感谢eefocus与DigiKey联合举办的AI应用创意挑战赛！下次活动再续啦。