4路1080P图像的畸变矫正、像素融合,对算力要求较高。ELF-RV1126B开发板利用专用硬件拼接模块承载该部分运算,CPU占用仅20%–30%,释放出充足算力用于端侧AI识别。
本文采用ELF-RV1126B开发板搭配TP2815四路模拟转MIPI模块,搭建4路AHD摄像头360°全景拼接系统。文章完整记录硬件接线、镜像烧录、内外参标定、AVS全景拼接、目标检测联调全流程实操,门槛友好,零基础可跟随复现,文末附有实景拼接效果演示。
一、方案概述
AVS(Any View Stitching)全景拼接技术:可以将多路摄像头画面融合拼接为单幅完整图像,从而实现获取更大视野的需求,实现无死角的视频拍摄。
全景拼接核心原理:
将全景相机看作一个单位球,将每个镜头拍摄的图像通过成像模型投影到球面上,对多幅图像重叠区域做像素融合,得到一幅完整的球面图像。最后将球面图像上的3D坐标点投影到2D图像上,获取平面图像。
AVS全景拼接效果高度依赖相机标定流程,标定分为两类:
1.内参标定:校准镜头焦距、光学中心、畸变系数;
2.外参标定:校准多台相机之间相对安装位置。
二、软硬件配套清单
硬件配置:
TP2815 4路模拟转MIPI CSI模块一个
LT9211 MIPI转LVDS模块
4个AHD摄像头
电源、数据线等配件
软件配置:
依赖组件:Rockit多媒体框架
三、硬件接线步骤
1.摄像头装配与接线:
将4路AHD摄像头按照标定结构固定安装,信号线按顺序接入TP2815模块;摄像头统一使用12V供电。
2.TP2815模块与开发板连接:
TP2815模块通过Type-C接口接入5V电源;采用异向FPC排线连接模块MIPI CSI通道与ELF-RV1126B开发板P9接口,硬件引脚定义可参考原理图。
3.开发板外设接线:
ELF-RV1126B开发板接入5V主电源;Type-C线缆连接电脑,用于串口调试与系统烧录;开发板经过LT9211 MIPI转LVDS模块连接10.1寸LVDS屏。
四、烧录镜像
烧写支持Rockit和AVS的系统镜像。这里略过具体的修改方法,如有需要请联系飞凌嵌入式获取相关补丁。
五、全场景拼接功能测试流程
步骤1:程序文件部署:
将编译完成的可执行程序main_test、AVS的Json配置文件、RK标定、AI库和模型文件统一放置到开发板/root下。
步骤 2:启动全景拼接程序:
进入/root目录,执行程序启动命令:
./main_test
程序正常运行后,控制台会打印通道创建相关日志,示例输出如下:
22:46:30-306{4_ch_node_create:367}VPSs[1,0] sharebuffer should config staxsize[0,0], outputsize[1280,720]maybe not correct
22:46:38-308{v4_ch_node_create:367}VPSs[2,0]share buffer should config staxsize[0,0], outputsize[1280,720]maybe not correct
22:46:38-310{4_ch_node_create:367}VPSs[3,0]sharebuffer should config staxsize[0,0], outputsize[1280,720]maybe not correct
此时即可在LVDS屏幕上看到4路摄像头拼接后的360°全景画面,并且能够实现目标检测。
96
