• 正文
  • 相关推荐
申请入驻 产业图谱

方案介绍|基于ELF-RV1126B开发板实现的AVS全景拼接+目标检测

11/04 10:45
96
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论
同样基于四路摄像头搭建360°全景系统,方案之间存在明显差距:基础方案仅满足画面“能看”,而具备实用价值的系统,需要做到画面 “能看懂”,这本质上是一个工程落地问题。

4路1080P图像的畸变矫正、像素融合,对算力要求较高。ELF-RV1126B开发板利用专用硬件拼接模块承载该部分运算,CPU占用仅20%–30%,释放出充足算力用于端侧AI识别。

本文采用ELF-RV1126B开发板搭配TP2815四路模拟转MIPI模块,搭建4路AHD摄像头360°全景拼接系统。文章完整记录硬件接线、镜像烧录、内外参标定、AVS全景拼接、目标检测联调全流程实操,门槛友好,零基础可跟随复现,文末附有实景拼接效果演示。

希望能够对于正在进行嵌入式视觉课程设计、毕业设计、竞赛开发的同学,提供帮助。

一、方案概述

AVS(Any View Stitching)全景拼接技术:可以将多路摄像头画面融合拼接为单幅完整图像,从而实现获取更大视野的需求,实现无死角的视频拍摄。

全景拼接核心原理:

将全景相机看作一个单位球,将每个镜头拍摄的图像通过成像模型投影到球面上,对多幅图像重叠区域做像素融合,得到一幅完整的球面图像。最后将球面图像上的3D坐标点投影到2D图像上,获取平面图像。

AVS全景拼接效果高度依赖相机标定流程,标定分为两类:

1.内参标定:校准镜头焦距、光学中心、畸变系数;

2.外参标定:校准多台相机之间相对安装位置。

二、软硬件配套清单

硬件配置:

ELF-RV1126B开发板一套

TP2815 4路模拟转MIPI CSI模块一个

LT9211 MIPI转LVDS模块

4个AHD摄像头

电源、数据线等配件

软件配置:

操作系统:Linux 6.1

依赖组件:Rockit多媒体框架

三、硬件接线步骤

1.摄像头装配与接线:

将4路AHD摄像头按照标定结构固定安装,信号线按顺序接入TP2815模块;摄像头统一使用12V供电。

2.TP2815模块与开发板连接:

TP2815模块通过Type-C接口接入5V电源;采用异向FPC排线连接模块MIPI CSI通道与ELF-RV1126B开发板P9接口,硬件引脚定义可参考原理图。

3.开发板外设接线:

ELF-RV1126B开发板接入5V主电源;Type-C线缆连接电脑,用于串口调试与系统烧录;开发板经过LT9211 MIPI转LVDS模块连接10.1寸LVDS屏。

四、烧录镜像

烧写支持Rockit和AVS的系统镜像。这里略过具体的修改方法,如有需要请联系飞凌嵌入式获取相关补丁。

五、全场景拼接功能测试流程

步骤1:程序文件部署:

将编译完成的可执行程序main_test、AVS的Json配置文件、RK标定、AI库和模型文件统一放置到开发板/root下。

步骤 2:启动全景拼接程序:

进入/root目录,执行程序启动命令:

./main_test

程序正常运行后,控制台会打印通道创建相关日志,示例输出如下:

22:46:30-306{4_ch_node_create:367}VPSs[1,0] sharebuffer should config staxsize[0,0], outputsize[1280,720]maybe not correct 
22:46:38-308{v4_ch_node_create:367}VPSs[2,0]share buffer should config staxsize[0,0], outputsize[1280,720]maybe not correct 
22:46:38-310{4_ch_node_create:367}VPSs[3,0]sharebuffer should config staxsize[0,0], outputsize[1280,720]maybe not correct

此时即可在LVDS屏幕上看到4路摄像头拼接后的360°全景画面,并且能够实现目标检测。

以上是基于ELF-RV1126B开发板搭建4路AHD摄像头360°全景拼接方案的完整介绍,希望能够为同学们提供参考与帮助,预祝大家在嵌入式人工智能开发的路上不断探索、收获成长。
瑞芯微电子

瑞芯微电子

瑞芯微专注于移动互联网、数字多媒体芯片设计,是专业的个人移动信息终端SOC解决方案供应商。瑞芯微在移动互联网领域有多个较完整的自主创新的知识产权群,为中国电子业发展做出积极努力。目前产品涵盖Android平板电脑、Android电视机顶盒(智能电视)、电子书、WIFI/蓝牙音频解决方案等,目前已发展为领先的物联网(IoT)及人工智能物联网(AIoT)处理器芯片企业。

瑞芯微专注于移动互联网、数字多媒体芯片设计,是专业的个人移动信息终端SOC解决方案供应商。瑞芯微在移动互联网领域有多个较完整的自主创新的知识产权群,为中国电子业发展做出积极努力。目前产品涵盖Android平板电脑、Android电视机顶盒(智能电视)、电子书、WIFI/蓝牙音频解决方案等,目前已发展为领先的物联网(IoT)及人工智能物联网(AIoT)处理器芯片企业。收起

查看更多

相关推荐

让嵌入式学习释放无限可能