【瑞萨AI挑战赛】NPU 加速人脸检测

can15f3463

感谢瑞萨电子的活动，很开心能申请到开发板试用！

1 系统架构和组织

运行在 RT-Thread系统上的NPU 加速人脸检测程序，核心功能是：通过摄像头采集 RGB565格式的图像，将图像预处理后送入 NPU（神经网络处理器）运行 YOLO 类检测模型，对检测结果解码和非极大值抑制（NMS）后，在 LCD 屏幕上绘制摄像头画面和检测到的人脸框，并通过 LED 灯的闪烁反馈程序运行状态。

依次实现

采集图像 → 预处理 → 模型推理 → 输出反量化 → 解码检测框 → NMS 去重→ LCD 绘制 → 状态反馈

安装这个过程，的代码组织树如下，其中yolo已经量化为模型，并导入到工程中了。

2编译和下载

代码如下

核心代码直接跳转到RTOS的控制循环

1. #include "hal_data.h"
   
2.             int main(void) {
   
3.               hal_entry();
   
4.               return 0;
   
5.             }
   
6. 核心代码如下
   
7. #include <rtthread.h>
   
8. #include "hal_data.h"
   
9. #include <rtdevice.h>
   
10. 
    
11. #include <board.h>
    
12. #include "sensor.h"
    
13. #include <lcd_port.h>
    
14. #include "model.h"
    
15. #include "pmu_ethosu.h"
    
16. #include "yolo_rtthread.h"
    
17. 
    
18. #define DBG_TAG     "main"
    
19. #define DBG_LVL     DBG_INFO
    
20. #include "rtdbg.h"
    
21. 
    
22. #define LED_PIN     BSP_IO_PORT_00_PIN_12
    
23. 
    
24. #define CAM_WIDTH   640
    
25. #define CAM_HEIGHT  480
    
26. 
    
27. static volatile bool led_status = false;
    
28. 
    
29. extern sensor_t sensor;
    
30. static uint8_t g_image_rgb565_sdram_buffer[CAM_WIDTH * CAM_HEIGHT * 2] BSP_PLACE_IN_SECTION(".ospi1_cs0_noinit") BSP_ALIGN_VARIABLE(8);
    
31. 
    
32. 
    
33. static void lcd_draw_jpg_with_frame(int32_t x, int32_t y,
    
34.                              const void *p, int32_t xSize, int32_t ySize,
    
35.                              uint32_t argb, d2_width thickness, det_box_t *boxes, int32_t box_num)
    
36. {
    
37.     if (thickness < 1) thickness = 1;
    
38. 
    
39.     uint32_t ModeSrc = d2_mode_rgb565;
    
40.     d2_device *hdl = d2_handle_obj_get();
    
41. 
    
42.     // 设定帧缓冲（背景/目标）
    
43.     d2_framebuffer(hdl, (uint16_t *)&fb_background[0],
    
44.                    LCD_WIDTH, LCD_WIDTH, LCD_HEIGHT, ModeSrc);
    
45. 
    
46.     // 选择渲染缓冲并设置裁剪区域（全屏）
    
47.     d2_selectrenderbuffer(hdl, d2_renderbuffer_get());
    
48.     d2_cliprect(hdl, 0, 0, LCD_WIDTH, LCD_HEIGHT);
    
49. 
    
50.     // 设定源图并把整帧图像 Blit 到屏幕
    
51.     d2_setblitsrc(hdl, (void *)p, xSize, xSize, ySize, ModeSrc);
    
52.     d2_blitcopy(hdl, xSize, ySize, 0, 0,
    
53.             D2_FIX(LCD_WIDTH), D2_FIX(LCD_HEIGHT),
    
54.                 D2_FIX(x), D2_FIX(y), 0);
    
55. 
    
56.     // 颜色
    
57.     d2_setcolor(hdl, 0, argb);
    
58.     //
    
59.     d2_width drwa_thickness = D2_FIX(thickness);
    
60.     d2_u32 flags = d2_le_exclude_none;
    
61. 
    
62.     for(int i=0;i<box_num;i++){
    
63.         d2_point x1 = D2_FIX(boxes->x1);
    
64.         d2_point y1 = D2_FIX(boxes->y1);
    
65.         d2_point x2 = D2_FIX(boxes->x2);
    
66.         d2_point y2 = D2_FIX(boxes->y2);
    
67. 
    
68.         d2_renderline(hdl, x1, y1, x2, y1, drwa_thickness, flags);
    
69.         d2_renderline(hdl, x1, y1, x1, y2, drwa_thickness, flags);
    
70.         d2_renderline(hdl, x2, y1, x2, y2, drwa_thickness, flags);
    
71.         d2_renderline(hdl, x1, y2, x2, y2, drwa_thickness, flags);
    
72.     }
    
73. 
    
74.     d2_executerenderbuffer(hdl, d2_renderbuffer_get(), 0);
    
75.     d2_flushframe(hdl);
    
76. }
    
77. 
    
78. void hal_entry(void)
    
79. {
    
80.     LOG_I("========================================================================");
    
81.     LOG_I("This example project is an an npu accelerated ai face detection routine!");
    
82.     LOG_I("========================================================================");
    
83. 
    
84.     sensor_init();
    
85.     sensor_reset();
    
86.     sensor_set_pixformat(PIXFORMAT_RGB565);
    
87.     sensor_set_framesize(FRAMESIZE_VGA);
    
88. 
    
89.     // 使能 NPU PMU
    
90.     int16_t status = FSP_SUCCESS;
    
91.     status = RM_ETHOSU_Open(&g_rm_ethosu0_ctrl, &g_rm_ethosu0_cfg);
    
92.     if (status != FSP_SUCCESS)
    
93.     {
    
94.         LOG_E("Failed to start NPU");
    
95.         return;
    
96.     }
    
97. 
    
98.     int8_t *in_i8 = (int8_t *)rt_malloc(INPUT_W * INPUT_H * sizeof(int8_t));
    
99. 
    
100.     if (!in_i8)
     
101.     {
     
102.         LOG_E("malloc in_i8 failed!");
     
103.         return;
     
104.     }
     
105. 
     
106.     float *out_f1 = (float *)rt_malloc(output1_len * sizeof(float));
     
107.     float *out_f2 = (float *)rt_malloc(output2_len * sizeof(float));
     
108. 
     
109.     while(1)
     
110.     {
     
111.         rt_tick_t start = rt_tick_get();
     
112. 
     
113.         //rt_hw_us_delay(1000);
     
114. 
     
115.         sensor_snapshot(&sensor, g_image_rgb565_sdram_buffer, 0);
     
116. 
     
117.         rgb565_to_gray_resize_192_and_quantization(g_image_rgb565_sdram_buffer, CAM_WIDTH, CAM_HEIGHT, in_i8);
     
118. 
     
119.         memcpy(GetModelInputPtr_serving_default_image_input_0(), in_i8, INPUT_SIZE);
     
120. 
     
121.         RunModel(false);
     
122. 
     
123.         int8_t* output1 = GetModelOutputPtr_StatefulPartitionedCall_0_70273(); // 6
     
124.         int8_t* output2 = GetModelOutputPtr_StatefulPartitionedCall_1_70283(); // 12
     
125. 
     
126.         dequantize_int8(output1, out_f1, output1_len, scale_out1, zero_point_out1);
     
127.         dequantize_int8(output2, out_f2, output2_len, scale_out2, zero_point_out2);
     
128. 
     
129.         int16_t total = 0;
     
130.         static det_box_t pool[540]; // 6*6*3 + 12*12*3 = 108 + 432 = 540
     
131. 
     
132.         total += decode_output_layer(out_f1, GRID_SIZE_1, 0, LCD_WIDTH, LCD_HEIGHT, CONF_THRESH,
     
133.                 pool + total, (int16_t)(sizeof(pool)/sizeof(pool[0])) - total);
     
134. 
     
135.         total += decode_output_layer(out_f2, GRID_SIZE_2, 1, LCD_WIDTH, LCD_HEIGHT, CONF_THRESH,
     
136.                 pool + total, (int16_t)(sizeof(pool)/sizeof(pool[0])) - total);
     
137.         // nms
     
138.         int32_t kept = nms_filter(pool, total, NMS_THRESH);
     
139.         int32_t out_n = MIN(kept, MAX_BOXES); // 拷贝前 kept（不超过 MAX_BOXES）
     
140. 
     
141.         d2_width thickness = 1;
     
142.         uint32_t argb = 0xFF00FF00;
     
143.         lcd_draw_jpg_with_frame(0, 0, g_image_rgb565_sdram_buffer, CAM_WIDTH, CAM_HEIGHT, argb, thickness, pool, out_n);
     
144. 
     
145.         rt_tick_t end = rt_tick_get();
     
146.         rt_kprintf("detect box num: %d\n", out_n);
     
147.         rt_kprintf("Time elapsed: %d ms\n", (end - start) * (1000 / RT_TICK_PER_SECOND));
     
148. 
     
149.         rt_thread_mdelay(5);
     
150. 
     
151.         led_status = !led_status;
     
152.         if(led_status)
     
153.         {
     
154.             rt_pin_write(LED_PIN, PIN_HIGH);
     
155.         }
     
156.         else
     
157.         {
     
158.             rt_pin_write(LED_PIN, PIN_LOW);
     
159.         }
     
160.     }
     
161. }
     

复制代码

编译通过

下载成功

运行启动顺利，

这个过程还是比较顺利的。这样体会了瑞萨的AI识别功能，看起来还是比较顺畅的。