快速掌握MIPI开发攻略,对接百度人工智能计算卡EdgeBoard

2019-08-23 14:19:10 来源:EEFOCUS
标签:

MIPI(移动行业处理器接口)是Mobile Industry Processor Interface的缩写,是MIPI联盟发起的为移动应⽤处理器制定的开放标准。MIPI采⽤高速串行接口传输数据,满⾜高分辨率摄像头的传输需求,采用串行接口方便PCB布局布线,提高信号完整性,也有利于减小PCB面积。MIPI接口的摄像头一般体积较小,适合于小型的嵌入式设备,比如手机和行车记录仪等,同时也广泛应用到AI端上推理设备。本文以百度的端上推理设备EdgeBoard作为原型来介绍MIPI相关技术的开发。如果用户购买EdgeBoard,出厂的镜像中带有MIPI的功能,只需再购买推荐的MIPI摄像头,即可实现即插即用。

 

MIPI介绍

MIPI接口分为两类,一是DSI (Display Serial Interface),提供处理器和显示模组之间的高速串行接口;二是CSI (Camera Serial Interface),提供处理器和摄像模组之间的高速串行接口。本文将要介绍的是CSI-2。

 

MIPI信号采用低压差分信号进行传输,具有传输速率快,抗干扰能力强的特点。MIPI的传输模式分为低速信号模式和高速信号模式,低速信号用于控制命令(10 MHz),高速信号用于数据传输(80Mbps -1Gbps/lane)。时钟处于非连续工作状态,根据传输状态进行时钟的切换,这样可以极大地降低功耗。关于D-PHY可参考MIPI® Alliance Specification for D-PHY。

 

MIPI最多可支持4通道数据,同时配有IIC总线进行配置,收发接口如下图:

 

[URL]fe196771171e28a3e6af918b060e4082.png
 

MIPI协议也是采用类似于以太网协议结构,采用分层设计的思想,分为PHY Layer,Protocal Layer和Application Layer。

 

 

MIPI传输的报文中定义了图像数据的类型/格式(Data type),这些类型/格式方便在调试的时候确定链路是否工作正常,常用的Data Type如下图,比如YUV的数据格式的标示符是0x18到0x1F,期间的数值定义了具体的格式,比如YUV422,YUV444等,具体可参考MIPI Alliance Specification for CameraSerial Interface 2。

 

[URL]c30a5201f95a21c6adf1a2049c7e9054.png
 

硬件相关

MIPI 电平

MIPI的电平标准分为LP (Low Power)模式和HP(High Power)模式,LP模式下高电平最大值1.3V,最小1.1V,典型值为1.2V,HP模式下共模电平200mv,摆幅200mV。

 

image.png
 

D-PHY

1、 Ultrascale系列的FPGA使用MIPI_PHY_DCI 的电平,digital control impedence,如果是mipi的数据率很高时,比如lane rate高于1000Mbps,需要开启100R的termination。

 

2、 如果使用K7系列的芯片,由于其不支持MIPI_PHY_DCI电平,可以通过LVDS电平转换而来,可以参考Xilinx的官方文档 D-PHY solutionsXAPP894,提供了完整D-PHY层的解决方案。

 

Note1: 对于Vivado 2018.2以下的版本,如果MIPI线速率很高,比如1500Mbps,需要在xdc约束文件中添加termination约束,针对Ultrascale芯片,做以下操作:

 

image.png
 

MIPI引脚分配和BANK电压

1. EdgeBoard中使用的是Xilinx Ultrascale+系列的MPSoC,MIPI 的IO必须放置在HP Bank。

 

image.png
 

2. MIPI_PHY_DCI的电平对Bank的要求苛刻,Bank的VCCO必须设定为1.2V,同时BANK的VREF推荐端接240R。如果Bank中有其他电平标准,比如1.8V的电平,在implementation过程中会报错。

 

image.png
 

3. MIPI-CSI-RX IP带有Pin assignment的功能,可进行引脚分配的验证,参考后文的MIPI IP 配置。

 

Layout

D-PHY的标准规定总的传输延迟不能超过2 ns,对应到FR4材质的PCB最大的走线长度是25cm到30cm,包括从发送端到接收端,这决定了MIPI支持的传输距离在30cm左右,参考AN-1337D-PHY。同时PCB走线必须匹配100欧姆的端接。

 

EdgeBoard的MIPI

EdgeBoard的MIPI最多支持4通道,可以根据需要选择性使用,用户通过排线与EdgeBoard连接即可,注意排线不要过长,最好小于10cm。

 

image.png

 

image.png
 

开发

Vivado

Vivado工具中的视频IP也是在逐步开发完善中,其中难免会遇到各种意想不到的bug,不过好在Xilinx的官方论坛维护地很好,只要发帖提问,短时间内就会得到专门技术人员的回答,同时针对出现的Bug,Xilinx官方也会定期发布相应的patch,Video论坛中积攒的各种帖子也为后续的开发者提供了解决问题的途径。

 

1. 如果使用2017版本的Vivado,MIPI CSI RX IP不能处理MIPI镜头时钟缺失的问题,参考AR70581。解决该问题,参考AR70530打patch,patch打成功之后,在Vivado软件界面提示AR70530。如果使用2018之后的版本,则不存在这个问题,不需要打patch。

 

image.png
 

2. MIPI-CSI-RX license 需要购买才能使用,功能验证阶段可以在Xilinx官网申请Evaluation license,但是用evaluation license生成的bit文件,会间歇性停止工作,无法用到真正的产品里面。

 

License申请参考下文申请Xilinx Evaluation License

 

3. Github也有开源的MIPI CSI2 IP,该IP针对Xilinx 7 Series FPGA,可以支持到4K的分辨率,采用VHDL开发,但仅支持4通道的MIPI摄像头。

 

4. 推荐使用2018.3及以上的版本进行MIPI的开发。

 

MIPI IP的配置

1. 根据MIPI摄像头的参数进行基本的设置,主要包括颜色格式、通道数、线速率等。其中线速率最好高于MIPI摄像头的速率,在MIPI IP的内部有一个FIFO缓冲数据,MIPI IP读出速率高于MIPI镜头的写入速度,可以确保不丢帧。

 

image.png
 

2. 在硬件设计之前就需要进行引脚验证,由于MIPI对于引脚要求相对苛刻,谨慎为好。

 

image.png
 

MIPI 后续处理IP

前面的MIPI IP只是负责从前端摄像头拿到数据,还需要其他IP进行后续的处理才能得到完整的视频。

 

Demosaic

也称之为interolation,通过相邻像素的色彩经过插值算法构建出一副标准色彩的图像,实现Bayer到RGB的转换。

 

摄像头的感光sensor输出的每个像素不是标准的RGB,每个像素只是三原色中的一种,后期通过插值算法恢复出RGB标准颜色,该方法由柯达科学家Bayer博士提出,该方法被称之为Bayer滤色。

 

感光sensor内部带有color filter array(滤色镜),通过放置不同的原色的filter过滤出单个像素的颜色,每个像素是单个的色彩(RGB中的一种),也称之为RAW数据,后端ISP中通过插值算法恢复到标准的RGB。下图是两种滤色方法,一种是RGB,一种是CMY(印刷四分色模式)。

 

image.png
 

NOTE: 使用Demosaic IP时,需要制定sensor的左上角的第一个像素是什么颜色,不同的sensor起始像素颜色不同。在Demosaic 的 BAYER_PHASE (0x0028) Register 中进行设定,参考文档SensorDemosaic。

 

IP 配置如下:设定每个时钟的像素个数,像素数据宽度以及分辨率。

 

image.png
 

Gamma Correcttion

Gamma矫正的目的是将线性亮度信号或者RGB编码矫正成适合显示器显示的非线性数据。IP使用Gamma LUT,该IP免费,具体配置见下图。

 

image.png
 

Video Process Subsystem

Video process subsystem IP具有视频处理的多种功能,针对MIPI可以使用color space conversion,实现YUV444或者RGB色彩的矫正,提升视觉效果。

 

image.png
 

注:以上的IP设置均基于Vivado 2017.4版本,2018及以上版本会略有不同,根据我们的开发经验,推荐使用2018.3版本。

 

EdgeBoard中MIPI摄像头数据流

EdgeBoard中MIPI摄像头数据流如下图,当用户购买EdgeBoard后,然后搭配我们推荐的MIPI摄像头,即可做到即插即用。

 

image.png
 

关键寄存器

Xilinx MIPI IP和D-PHY对于开发者来说是黑盒子,如果开发中遇到问题,只能通过寄存器的方式来跟踪问题,现介绍一些关键的寄存器。通过跟踪这些寄存器的状态,可以定位排查问题。

 

D-PHY关键寄存器

首先是判断D-PHY的工作状态,在MIPI IP设置中需要Enable D-PHY Register Interface。

 

1. Control Register

    1. 查看D-PHY是否已经使能

 

2. CL_STATUS Register(CL -> Clock Lane)

    1. 查看clock lane是否处于stop状态

    2. 查看通道是否完成初始化

    3. 查看工作模式

 

3. DL_STATUS Register (DL -> Data Lane)

    1. 查看data lane是否处于stop状态

    2. 查看通道是否完成初始化

    3. 查看工作模式

 

CSI2-RX 关键寄存器

1. Core Configuration Register

    1. Enable core

 

2. Protocal Configuration Register

    1. Lane number:硬件没问题的话,可以看到MIPI摄像头使用的通道数

 

3. Core Status Register

    1. 统计收到的packet

 

4. 查看FIFO是否满,如果数据及时读出,是不会出现满的情况

 

5. Interrupt Status Register

    1. 这是排查问题的重要寄存器,各种问题引起的中断都会写入到该寄存器中

 

6. 如果出现ECC的错误,大概率是硬件信号完整性问题

 

7. Generic short Packet Register

    1. 查看图像格式,在该寄存器能看到对的Data Type,基本可以说明硬件设计没问题

 

8. Clock Lane Information Register

    1. 查看 clock的工作状态

 

9. Lane Information Register

    1. 查看每个lane的工作状态,每个lane不是始终处于工作状态,也会处于inactive状态

 

附:申请Xilinx Evaluation License

1. 首先需要有一个Xilinx官方账号,然后进入到Evaluation License网址进行申请,申请界面如下:

 

image.png

 2. 点击search now,输入mipi关键字,勾选MIPI RX

 

image.png
 

3. Evaluation License需要绑定主机的MAC地址,点击Generate Node-Locked License,然后设置需要绑定的MAC地址

 

image.png

 

image.png
 

4. 很快在个人注册的邮箱里会收到Xilinx官方发布的lic文件,将其导入到Vivado工具即可。

 

NOTE:Evaluation License仅限于测试MIPI IP和MIPI摄像头的工作状态,不可用于发布产品,其内部带有计数器,连续使用几小时后会停止工作。

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
华为Mate30Pro 对比 vivo NEX3,摆脱 “厂妹机”名号

9月16日:vivo NEX3正式发布,它是全球首款瀑布屏机型,也是国产第一个采用圆形多颗摄像头设计的机型;9月19日:华为Mate30Pro正式发布,它也是瀑布屏,后置多摄也采用了圆形设计,不同的是它前面有个小刘海。

骁龙855 Plus玩手机游戏流畅不卡顿 功耗发热控制出色

近年来,玩手机游戏已经成为了游戏界的一股新时尚,目前,中国手机游戏用户已经超过5亿8600万,而且这个数字还在不断增长。

韩半导体出口不容乐观,9 月出口骤降40%
韩半导体出口不容乐观,9 月出口骤降40%

与非网9月24日讯,9月韩国在科技产品方面的出口情况不容乐观,半导体出口同比骤降40%,移动通信设备(在出口总额中所占份额较小)的出口则跃升58%。

三安光电下行周期仍能逆势扩张?市场占有率将进一步提高
三安光电下行周期仍能逆势扩张?市场占有率将进一步提高

作为LED行业龙头,三安光电在周期下行阶段逆势扩张,预计将进一步提高市场占有率。集成电路方面,在中美摩擦背景下,国内品牌供应链实现国产化意愿强烈,而三安光电第三代化合物半导体将受益国产替代催化,加速替代海外供应商。

“一箭双星”成功发射北斗导航卫星,中国正向“完整系统”大步迈进
“一箭双星”成功发射北斗导航卫星,中国正向“完整系统”大步迈进

与非网9月24日讯,北斗卫星导航系统(以下简称北斗系统)是中国着眼于国家安全和经济社会发展需要,自主建设、独立运行的卫星导航系统,是为全球用户提供全天候、全天时、高精度的定位、导航和授时服务的国家重要空间基础设施。

更多资讯
DRAM价格将迎来反弹?南亚科、华邦电和威刚笑了
DRAM价格将迎来反弹?南亚科、华邦电和威刚笑了

与非网9月24日讯,凭借各类设备搭载DRAM的数量翻番,DRAM市场有望迎来旺季。

AMD 这个“万年老二”,这次真的逆袭了?
AMD 这个“万年老二”,这次真的逆袭了?

与非网9月24日讯,一个万年老二,这次真的翻身了吗?

十代酷睿先锋军团集结 PC换新蓄势待发!

最近一段时间颇有感触,我发现网络上的大伙都是口是心非。比如都说好一起组队儿喷iPhone 11了,结果一开卖我去官网下单就看到排队排到了国庆之后才能收到货,敢情大家嘴上说着不要,下手是一个比一个快啊。 

当苹果A13遇上麒麟990,各显神通

每年秋季的苹果新品发布会总是会引起一波科技热潮,今年苹果A13的发布更是让苹果与华为之间的竞争更加激烈。更难得的是,苹果这次居然将自己的上一代芯片A12与华为进行了对比,由此可见今年手机处理器领域的火药味有多浓。但是我们不能只看一家之言,最近华为海思发布了麒麟990,虽然两款芯片究竟孰强孰弱无法一眼而观之,但是我们不妨将两者放到起比一比

未来全球半导体封测产业发展分析
未来全球半导体封测产业发展分析

SEMI(国际半导体产业协会)举行「SEMICON Taiwan 2019」展会,本次会议特别以异质整合为主题,探讨5G行动通讯、AIoT及高速运算等技术,驱使相关技术进一步加速导入智能制造、智能汽车、智慧数据及智慧医疗等领域,试图驱动台湾半导体产业的未来发展动能。