【RK3572实战连载 04】RK3572-Resnet50 物体分类模型应用

前言：

上期我们用眺望RK3572带大家一条命令跑通了YOLOv8实时目标检测的完整链路，有工程师反馈拿到例程就能直接复用，非常不错。这一期我们沉到计算机视觉的更底层——ResNet50图像分类。很多人觉得分类是入门级任务，但ResNet50恰恰是绝大多数目标检测、人脸识别、实例分割、行人重识别算法的核心特征提取主干，它的特征提取质量，直接决定了上层复杂视觉模型的精度上限。

本次我们依然基于RK3572与RKNN3全链路工具链，配套完整可运行例程。

一、RK3572 NPU介绍

RK3572是一款面向边缘计算与AIoT应用的低功耗高性能处理器，集成两颗Cortex-A73大核与六颗Cortex-A53小核，每核均配备NEON协处理器。

NPU：最高提供4 TOPS 算力，支持 INT4 /INT8 /INT16 /FP4 /FP8 /FP16 /BF16 混合精度运算及W4A16非对称MAC操作，在保证精度的同时大幅降低计算开销。该NPU兼容TensorFlow、Caffe、TensorFlow Lite、PyTorch、ONNX、Android NN、MXNet 等主流框架。

工具链：配套Rockchip自研RKNN3推理框架，提供从模型转换、量化、优化到部署的完整工具链。其中RKNN3-Toolkit支持多精度量化、连板/仿真推理及性能内存评估；RKNN3 API与rkllm3-server提供高效推理服务并支持OpenAI兼容接口，可便捷部署CNN、LLM等主流模型，显著提升NPU利用效率与开发便捷性。此外，RK3572支持高性能外部存储器接口可满足严苛的内存带宽需求，并提供完整的外围接口套件，能够支持高度灵活的NPU应用场景。

二、Resnet 50 图像分类例程

本章介绍基于RK3572平台的人工智能图像分类模型运行及测试例程。图像分类是计算机视觉领域的基础性任务之一，其主要目标是对输入的整张图像进行语义理解与分析，输出图像所属的一个或多个类别标签及其置信度分数，从而判断图像的整体内容归属。作为计算机视觉高层语义理解的入口级任务，图像分类为后续的目标检测、图像分割、场景理解等更复杂的视觉应用提供了重要的技术基础与认知范式。本例程基于 RK3572 的 NPU 人工智能加速能力，部署 ResNet50 目标检测模型，实现对摄像头实时视频流或本地图像中目标的检测与识别。ResNet50是计算机视觉领域最具影响力的卷积神经网络架构之一。不同于YOLO系列等原生端到端检测器，ResNet50本质为图像分类网络，但其凭借强大的特征提取能力，广泛作为目标检测、实例分割等复杂视觉任务的主干特征提取网络（Backbone）。除图像分类外，ResNet50常被迁移至目标检测、人脸识别、行人重识别等任务中担任特征提取主干，其输出特征图的质量直接影响最终检测精度。为更贴近真实边缘计算场景，本测试套件将所有图像输入环节从静态图片读取切换为动态视频流采集，从而更准确地反映实际部署环境中的资源消耗与响应特性。

2.1 例程测试

用户可在光盘资料中：“Core-RK3572 核心板光盘资料 \ 4-软件资料 \ 3-RK3572 模型案例源码 \ 2-源码资料 \ rk3572_Cdemo \ rk3572_Cdemo.tar.gz” 下载模型。

本次测试使用的摄像头型号为IMX415，测试模型案例前将摄像头接入RK3572底板中丝印 J10 或 J14 的MIPI CSI接口中，为能够成功预览摄像头推流识别效果，请接入MIPI屏幕或HDMI接口。

2.2 推送应用

进入应用目录中，使用adb命令将图像分类应用推送到rk3572开发板中，确保adb正常连接。

talowe@ubuntu22:~$ adb push rknn3_resnet50/ /rk3572_rknn3demo

2.3 运行模型应用

进入 / rk3572_ rknn3 demo / rknn3_ resnet 50 目录中执行如下命令

root@rk3572-buildroot:/rk3572_rknn3demo/rknn3_resnet50# ./rknn_resnet_demo ./model/resnet50-v2-7.rknn  ./model/resnet50-v2-7.weight  /dev/video22 1

注意：/dev/video22 为接入的摄像头节点

参数说明：

./model/resnet50-v2-7.rknn — RKNN格式模型文件路径（已由ONNX模型转换而来）

./model/resnet50-v2-7.weight — 模型权重文件路径

/dev/video22 — 摄像头设备节点，指定视频输入源

1 — NPU核心掩码（core_mask），用于指定推理所用的NPU核心

将HDMI显示屏接入开发板，运行程序后可实时查看摄像头画面及推理结果。此模型会根据摄像头画面对内容在画面角落显示类别名称和置信度，体现的是“整幅图像属于哪个类别”的分类结果。

如下图所示：

可以看到此处此图片类别为minivan（小型货车）。

三、技术实现与应用拓展

这个例程不是实验室里的静态图片跑分，是真实业务场景下的端到端验证—— 完整跑通视频采集、硬件解码、图像预处理、NPU 推理、结果叠加显示全流程，能真实反映 RK3572的NPU实际算力、视频链路性能、系统调度水平，给硬件选型提供可落地的参考依据。

3.1 技术应用

4TOPS算力支撑实时推理，工业级宽温保障稳定性用于：工业视觉（产线零件缺陷检测、工件计数）

MIPI-CSI摄像头直连，低延迟本地处理用于：智慧安防（人车识别、周界入侵检测）

多精度量化平衡精度与速度用于：智能交通（车辆检测、违章抓拍）

低功耗适配移动巡检设备用于：电力巡检（设备异常识别、仪表读数）

小尺寸核心板适配嵌入式部署用于：机器人视觉（目标跟随、障碍物识别）

四、小编有话说

感谢大家的信任与支持。这份指南来自眺望电子的技术手册之一《Pi-RK3572 RK3572，NPU模型案例》，适用于RK3572核心板。更多资料可在后台留言或者联系工程师获取。如果大家在实操过程中遇到问题，也欢迎随时交流。