RK3562 单板机多媒体开发完全手册：视频输入输出与 GStreamer 案例详解（一）

陈工-创龙科技

前  言

本文档聚焦于RK3562处理器的视频图像处理框架与处理能力。同时，通过详细的视频开发案例演示基于RK3562的视频开发流程，旨在助力用户高效、精准地评估该芯片在视频处理领域的性能表现。

开发环境

Windows开发环境：Windows7 64bit、Windows10 64bit

Linux开发环境：VMware16.2.5、Ubuntu20.04.6 64bit

sysroot：rk3562-Tronlong-Desktop-20.04-sysroot-[版本号].tar.gz

系统版本：Tronlong-Desktop 20.04（类Ubuntu）、Linux-5.10.209、U-Boot-2017.09

备注：本文基于2GByte LPDDR4X、16GByte eMMC配置单板机进行演示。

术语表

为便于阅读，下表对文档出现的关键术语进行解释；对于广泛认同释义的术语，在此不做注释。

注意事项

（1）无特殊说明情况下，本文默认从eMMC启动系统，使用DEBUG作为调试串口，使用欣瑞达的XT070YTA23R_A6 LVDS电阻屏作为显示输出。

图 1

（2）请先参考《应用开发手册》的“开发环境搭建说明”章节完成应用开发环境搭建。

（3）我司提供的视频图像处理开发案例存放于产品资料的“4-软件资料\Demo\platform-demos\”目录。为方便您系统了解相关案例信息，下表对本文所涉及的全部视频案例的测试结果进行了汇总，同时亦标注出每个案例所适配的视频模块型号。

1视频图像处理框架

本章节主要介绍RK3562J/RK3562平台的视频图像处理框架。由于RK3562J和RK3562芯片的引脚和外设资源均一致，因此下述以RK3562处理器为例进行说明。

为方便说明RK3562的视频图像处理框架，下文将相关视频接口和协处理器划分为以下5个部分：

（1）视频图像输入

接口：MIPI CSI RX、PCIe2.1；

协处理器：VICAP(Video Input Processor)，ISP(Image Signal Processor)。

（2）视频图像输出

接口：LVDS、MIPI DSI TX、RGB/BT656/BT1120；

协处理器：VOP(Video Output Processor)。

（3）视频图像Graphics Engine

2D协处理器：2D Graphics Engine；

3D协处理器：GPU Mali-G52-2EE。

（4）视频图像编解码

协处理器：VPU(Video Process Unit)。

（5）视频图像视觉算法加速

协处理器：NPU(Neural Process Unit)、GPGPU（General Purpose computing on GPU，同上述GPU Mali-G52-2EE）。

1.1视频图像输入

1.1.1MIPI CSI RX接口

（1）兼容MIPI接口规范V1.2

（2）支持4Lane，最高2.5Gbps/Lane

（3）支持MIPI-HS，MIPI-LP模式

（4）支持的模式

Camera x2：2 MIPI CSI DPHY (4 Lane)

Camera x4：4 MIPI CSI DPHY (2 Lane)

常见视频输入数据量理论带宽及Lane数量要求：

备注：以下评估结果不含数据传输协议相关开销，协议开销约为几个百分点。

Raw8下1920x1080@60fps数据量为1920 x 1080 x 1 x 8 x 60 / 10^9 ≈ 0.99Gbps 1 Lane

YUV422下1920x1080@60fps数据量为1920 x 1080 x 2 x 8 x 60 / 10^9 ≈ 1.99Gbps 1 Lane

Raw8下UHD 3840x2160@60fps数据量为3840 x 2160 x 1 x 8 x 60 / 10^9 ≈ 3.98Gbps 2 Lane

YUV422下UHD 3840x2160@60fps数据量为3840 x 2160 x 2 x 8 x 60 / 10^9 ≈ 7.96Gbps 4 Lane

以OV13850摄像头为例，该摄像头的视频输入数据量理论带宽及Lane数量要求如下：

根据OV13850数据手册说明，使用4个Lane时最大输出为4224x3136@30fps Raw10。此时，总数据量约为4224 x 3136 x 1 x 10 x 30 / 10^9 ≈ 3.974 Gbps，平摊至4个Lane约0.99Gbps/Lane，小于2.5Gbps/Lane。

其它：

使用Raw格式输入时，还应考虑ISP的处理能力。

1.1.2VICAP

Video Input Processor，从MIPI CSI RX接收Camera图像数据。

（1）输入接口

最多同时支持4路接入：MIPI CSI RX x 4

（2）支持输出输入MIPI CSI数据（格式：RAW8/10/12/14、YUV422）

（3）支持输出RAW数据、YUV数据（格式：NV16/NV12/YUV400/YUYV）

（4）支持直接发送RAW数据到ISP

1.1.3ISP

Dual Pipe ISP，从VICAP接收Camera图像并进行图像处理。

（1）输入接口

最多同时支持4路接入。

（2）图像数据处理能力

13M：4224x3136@30fps。

1.1.4PCIe接口

（1）PCIe 2.1（与USB3.0复用Multi-PHY）

支持RC模式，1Lane；

最大理论带宽：5Gbps（支持1920x1080@60fps RGB24视频输入，数据量约为2.985Gbps）。

备注：PCIe接口常用于接收来自FPGA端的图像输入。

1.2视频图像输出

VOP会从内存中读取视频数据和UI数据进行缩放、裁剪、图层叠加等处理，然后将数据发送至不同显示接口进行图像的显示。VOP的处理及接口能力决定了最终的图像输出能力。

（1）RGB Parallel Display

2048x1080@60fps。

（2）BT656/BT1120

BT1120：支持1920x1080/I输出；

BT656：支持720x576/I输出。

（3）MIPI DSI TX

2048x1080@60fps。

（4）LVDS

800x1280@60fps。

1.3视频图像编解码

1.3.1视频解码

1.3.2视频编码

1.3.3JPEG解码

（1）最高支持65536x65536分辨率（429500万像素）。

1.3.4JPEG编码

（1）最高支持8192x8192分辨率；

（2）性能可达每秒9000万像素。

1.4视频图像Graphics Engine

1.4.12D Graphics Engine

2D Graphics Engine是一个2D图形处理加速引擎，可实现图像的旋转，缩放，裁剪，混合和RGB/YUV转换等。主要特性如下：

（1）输入：ARGB/RGB888/RGB565/RGB4444/RGB5551/YUV420/YUV422/YUYV/YUV422SP10bit/YUV420SP10bit(YUV-8bits out)，最大8192x8192；

（2）输出：ARGB/RGB888/RGB565/RGB4444/RGB5551/YUV420/YUV422/YUYV，最大4096x4096；

（3）旋转：90/180/270度；

（4）镜像：x-mirror、y-mirror；

（5）Alpha Blending功能支持：per pixel alpha和fading。

1.4.2Mali-G52-2EE

Mali-G52-2EE支持2D/3D图形处理加速。主要特性如下：

3D API支持：OpenGLES 1.1/2.0/3.2、Vulkan1.0/1.1、OpenCL 2.0 Full Profile。

1.5视频图像视觉算法加速

1.5.1NPU(Neural Process Unit)

NPU是一个神经网络推理加速引擎。主要特性如下：

（1）算力1 TOPS；

（2）支持INT4/INT8/INT16/FP16；

（3）支持的深度学习框架：TensorFlow，Caffe，Pytorch，MXNet等。

1.5.2GPGPU(General Purpose computing on GPU)

Mali-G52-2EE亦为GPGPU，通过OpenCL进行通用计算，可实现计算加速和神经网络推理加速。

计算加速：OpenCL 2.0 Full Profile；

神经网络推理加速：TVM（基于OpenCL），使用参考：https://tvm.apache.org/docs。

1.6单板机视频接口说明

（1）视频图像输入

MIPI CSI RX接口：

PCIe接口：

支持FPGA基于PCIe 2.1 1Lane RC/EP的视频输入测试。

（2）视频图像输出

单板机板载2个视频输出接口：LVDS LCD、MIPI LCD。我司软件系统对视频输出接口配置如下，且系统默认按“配置一”进行配置，如需使用其它配置，需修改Linux设备树。