眺望电子AI视觉开放平台是眺望电子基于瑞芯微 RV1126B/RK35xx 系列处理器,打造覆盖硬件核心板、ISP调优、AI模型部署、业务算法集成的全栈视觉中间件平台。平台提供标准化SDK、预训练模型仓库与可视化调试工具,帮助客户从”传感器出图”到”AI业务上线”缩短60%开发周期。
本期聚焦:
前面的连载覆盖了AI-ISP、AI模型部署等关键环节,但在视觉场景落地中,单个摄像头的视野范围有限,往往需要多个摄像头共同工作,以获得更大的视场角。本期将实测RV1126B的AVS(Advanced Video Stitch)硬件模块,看看其多路图像拼接能力。
Rockchip RV1126B 芯片内部集成了一个 AVS(Advanced Video Stitch)硬件模块,直接把多路图像拼接的活儿揽到了芯片内部。不是 DSP 软算,不是 NPU 跑模型,是专门的硬件流水线。
一、应用概述
本次基于眺望电子RV1126B视觉开发套件,采用两颗SC450AI 摄像头,每路输出 1920×1080 视频,通过 RV1126B 的 AVS(Advanced Video Stitch) 完成实时拼接融合,最终生成 3840×1080 的全景画面,并通过 RTSP 实时推流,同时支持保存 H.264 码流文件,方便后续分析与验证。整个视频处理流程如下:
SC450AI(1920×1080) ─┐
│
├── VI
│
SC450AI(1920×1080) ─┘
│
AVS
(3840×1080 拼接融合)
│
VENC(H.264)
├──────────────► RTSP 推流
│
└──────────────► /userdata/venc0.h264
编码之后的流分两路走:一路通过 RTSP 推出来,用 VLC 直接就能播;另一路落盘到 /userdata/venc0.h264,方便后续做分析或者存档。
提供的固件已经配好了上电自启,拿到板子接好摄像头、插上网线,打开 VLC 输入开发板 IP 就能看画面。
二、测试过程
图1 SC450ai摄像头
图2 MIPI CSI接口
固件已配置上电自动启动应用,使用VLC工具推流,192.168.0.159为开发板IP地址需要自己开发板的地址。
双路拼接不是简单把两张图左右拼在一起。要让接缝处自然,两颗摄像头需要有一定的夹角和重叠区域,AVS 模块会做几何校正和亮度均衡。测试的时候把两颗 SC450AI 按一定角度摆好,出来的全景画面过渡平滑,没有明显的拼接缝。
下面是效果图展示:
三、方案应用
这套方案最对胃口的还是成本敏感、延迟敏感、空间敏感的嵌入式设备:
全景 IPC:一颗 RV1126B + 两颗摄像头,替代传统多路 IPC + NVR 的架构;
机器人视觉:扫地机、AGV 需要 180° 甚至更大视野,端侧直接出全景图,省去后端处理;
车载环视:虽然环视通常是四路,但双路拼接的逻辑可以扩展,RV1126B 的 AVS 支持多路输入。
四、结语
RV1126B 的 AVS 模块本质上是在芯片里塞了一个硬件拼图工具。对于开发工程师来说,这意味着不用在画质和成本之间做痛苦选择了——两颗摄像头、一颗芯片、一路输出,剩下的 CPU 和 NPU 资源该跑算法跑算法,该做业务做业务。
若需要完整开发资料、测试固件或套件申请,都可向眺望电子技术支持工程师联系获取!
下期预告:
下一篇我们将继续展示AI视觉开放平台中fastboot 1s快速启动,敬请期待!
808