• 正文
  • 相关推荐
申请入驻 产业图谱

【RV1126B 实战连载 11】AVS 双路摄像头画面拼接实例

08/22 10:49
808
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

眺望电子AI视觉开放平台是眺望电子基于瑞芯微 RV1126B/RK35xx 系列处理器,打造覆盖硬件核心板ISP调优、AI模型部署、业务算法集成的全栈视觉中间件平台。平台提供标准化SDK、预训练模型仓库与可视化调试工具,帮助客户从”传感器出图”到”AI业务上线”缩短60%开发周期。

本期聚焦

前面的连载覆盖了AI-ISP、AI模型部署等关键环节,但在视觉场景落地中,单个摄像头的视野范围有限,往往需要多个摄像头共同工作,以获得更大的视场角。本期将实测RV1126B的AVS(Advanced Video Stitch)硬件模块,看看其多路图像拼接能力。

做全景监控或者带视觉的机器人,传统做法是视频流先传到PC或者服务器,用软件做拼接融合。这条路系统成本高不说,传输带宽和响应延迟在嵌入式场景里根本扛不住。

Rockchip RV1126B 芯片内部集成了一个 AVS(Advanced Video Stitch)硬件模块,直接把多路图像拼接的活儿揽到了芯片内部。不是 DSP 软算,不是 NPU 跑模型,是专门的硬件流水线。

一、应用概述

本次基于眺望电子RV1126B视觉开发套件,采用两颗SC450AI 摄像头,每路输出 1920×1080 视频,通过 RV1126B 的 AVS(Advanced Video Stitch) 完成实时拼接融合,最终生成 3840×1080 的全景画面,并通过 RTSP 实时推流,同时支持保存 H.264 码流文件,方便后续分析与验证。整个视频处理流程如下:

SC450AI(1920×1080)  ─┐

├── VI

SC450AI(1920×1080)  ─┘

AVS

(3840×1080 拼接融合)

VENC(H.264)

├──────────────► RTSP 推流

└──────────────► /userdata/venc0.h264

编码之后的流分两路走:一路通过 RTSP 推出来,用 VLC 直接就能播;另一路落盘到 /userdata/venc0.h264,方便后续做分析或者存档。

提供的固件已经配好了上电自启,拿到板子接好摄像头、插上网线,打开 VLC 输入开发板 IP 就能看画面。

二、测试过程

本次测试使用的摄像头型号为SC450ai如图1所示,测例前将两路摄像头接入RV1126B载板中丝印为J9和J8的MIPI CSI接口中如图2所示。

图片

1 SC450ai摄像头

图片

 图2 MIPI CSI接口

固件已配置上电自动启动应用,使用VLC工具推流,192.168.0.159为开发板IP地址需要自己开发板的地址。

图片

双路拼接不是简单把两张图左右拼在一起。要让接缝处自然,两颗摄像头需要有一定的夹角和重叠区域,AVS 模块会做几何校正和亮度均衡。测试的时候把两颗 SC450AI 按一定角度摆好,出来的全景画面过渡平滑,没有明显的拼接缝。

下面是效果图展示:

图片

三、方案应用

这套方案最对胃口的还是成本敏感、延迟敏感、空间敏感的嵌入式设备:

全景 IPC:一颗 RV1126B + 两颗摄像头,替代传统多路 IPC + NVR 的架构;

机器人视觉:扫地机、AGV 需要 180° 甚至更大视野,端侧直接出全景图,省去后端处理;

车载环视:虽然环视通常是四路,但双路拼接的逻辑可以扩展,RV1126B 的 AVS 支持多路输入。

四、结语

RV1126B 的 AVS 模块本质上是在芯片里塞了一个硬件拼图工具。对于开发工程师来说,这意味着不用在画质和成本之间做痛苦选择了——两颗摄像头、一颗芯片、一路输出,剩下的 CPU 和 NPU 资源该跑算法跑算法,该做业务做业务。

若需要完整开发资料、测试固件或套件申请,都可向眺望电子技术支持工程师联系获取!

下期预告:

下一篇我们将继续展示AI视觉开放平台中fastboot 1s快速启动,敬请期待!

相关推荐

11年ARM处理器开发经验,专注于嵌入式处理器模组的研发与应用