• 正文
  • 相关推荐
申请入驻 产业图谱

【RK3572实战连载 03】RK3572-YOLOV8通用目标检测应用

10/15 13:28
83
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

前言:

边缘AI视觉项目,最怕的不是精度不够,而是跑不动,反复调试拖累项目周期。因此,眺望电子针对“不同检测目标与模型”出了一整套相关技术指南。教大家:如何一条命令跑通"摄像头输入→NPU推理→屏幕输出"的完整链路,拿到就能用、用了就能评。

眺望电子基于RK3572核心板与YOLOv8通用目标检测模型给大家跑一遍,做成一个可直接运行的例程。接上摄像头、插上屏幕、推一条命令,就能看到NPU实时推理的效果。

一、RK3572 NPU介绍

RK3572是一款面向边缘计算与AIoT应用的低功耗高性能处理器,集成两颗Cortex-A73大核与六颗Cortex-A53小核,每核均配备NEON协处理器。

NPU:最高提供4 TOPS 算力,支持 INT4 /INT8 /INT16 /FP4 /FP8 /FP16 /BF16 混合精度运算及W4A16非对称MAC操作,在保证精度的同时大幅降低计算开销。该NPU兼容TensorFlow、Caffe、TensorFlow Lite、PyTorch、ONNX、Android NN、MXNet 等主流框架。

工具链:配套Rockchip自研RKNN3推理框架,提供从模型转换、量化、优化到部署的完整工具链。其中RKNN3-Toolkit支持多精度量化、连板/仿真推理及性能内存评估;RKNN3 API与rkllm3-server提供高效推理服务并支持OpenAI兼容接口,可便捷部署CNN、LLM等主流模型,显著提升NPU利用效率与开发便捷性。

二、YOLOV8目标检测例程

本章介绍基于RK3572 平台的 YOLOv8 通用目标检测模型运行及测试例程。目标检测是计算机视觉领域的重要基础技术,其主要任务是在图像或视频画面中自动识别目标对象的位置,并判断其所属类别。其被广泛应用于智慧安防、智能交通、工业检测、无人零售、机器人视觉等场景。

YOLOv8(You Only Look Once)目标检测算法,作为YOLO系列的最新迭代版本,在继承高速度、高精度核心优势的基础上,进一步引入了更高效的特征提取网络(如C2f模块)和更灵活的无锚框(Anchor-Free)检测头,显著提升了小目标感知能力和复杂场景下的泛化性。该算法沿用单阶段端到端检测架构,在一次前向推理中同时完成目标定位和类别预测,有效降低了计算延迟,为实时边缘应用提供了更优的精度-速度平衡。

为更贴近真实边缘计算场景,本测试套件将所有图像输入环节从静态图片读取切换为动态视频流采集,从而更准确地反映实际部署环境中的资源消耗与响应特性。

2.1  例程测试

用户可在光盘资料中:“Core-RK3572 核心板光盘资料 \ 4-软件资料 \ 3-RK3572 模型案例源码 \ 2-源码资料 \ rk3572_Cdemo \ rk3572_Cdemo.tar.gz” 下载模型。

本次测试使用的摄像头型号为IMX415,测试模型案例前将摄像头接入RK3572底板中丝印 J10 或 J14 的MIPI CSI接口中,为能够成功预览摄像头推流识别效果,请接入MIPI屏幕或HDMI接口。

2.2  推送应用

进入应用目录中,使用adb命令将YOLOV8模型应用推送到RK3572开发板中,确保adb正常连接。

talowe@ubuntu22:~$ adb push rknn3_yolv8_detection_cam/ /rk3572_rknn3demo

2.3  运行模型应用

开发板进入/rk3572_ rknn3demo/ rknn3_ yolov5_ detection_ cam 目录中执行如下命令

root@rk3572-buildroot:/rk3572_rknn3demo/rknn_yolov8_detection_cam# ./rknn_yolov8_demo ./model/yolov8n.rknn ./model/yolov8n.weight /dev/video22 1

注意:/dev/video22 为接入的摄像头节点

运行后HDMI显示屏或MIPI显示屏中会出现RK3572 实时推理的画面如下运行程序后,显示屏将实时显示摄像头画面,并叠加 YOLOv8 检测结果,每个检测到的目标均用彩色矩形框标出。框的左上角显示类别标签和置信度。

三、技术实现与应用拓展

这个例程的价值不在于“跑通了YOLOv8”,而是在于把边缘视觉部署的完整链路做成了一个可复现的闭环。这个闭环就是一个可参照的部署模板。它可以替换成客户想要的模型、调整检测类别、适配的摄像头和屏幕,把“从模型到产品”的路径缩短,可以更快的促进项目落地。

3.1  技术应用

4TOPS算力支撑实时推理,工业级宽温保障稳定性用于:工业视觉(产线零件缺陷检测、工件计数)

MIPI-CSI摄像头直连,低延迟本地处理用于:智慧安防(人车识别、周界入侵检测)

多精度量化平衡精度与速度用于:智能交通(车辆检测、违章抓拍)

低功耗适配移动巡检设备用于:电力巡检(设备异常识别、仪表读数)

小尺寸核心板适配嵌入式部署用于:机器人视觉(目标跟随、障碍物识别)

四、小编有话说

感谢大家的信任与支持。这份指南来自眺望电子的技术手册之一《Pi-RK3572 RK3572,NPU模型案例》,适用于RK3572核心板。更多资料可在后台留言或者联系工程师获取。如果大家在实操过程中遇到问题,也欢迎随时交流。

下期预告:

下一篇我们将继续讲解Resnet50 物体分类模型应用,敬请期待!

相关推荐

11年ARM处理器开发经验,专注于嵌入式处理器模组的研发与应用