AMD Xilinx MIPI solution

作者: Jeson Zhang,文章来源:Comtech FPGA微信公众号

1. MIPI出现的背景

在移动设备对于音视频传输更小集成,更高速率的需求下,传统的并口传输受到越来越多挑战,并口传输提速一个是提高随路输出时钟,另一个是增加数据位宽,前者使得EMC设计困难且复杂,后者不符合移动设备小型化,集成化趋势。

MIPI联盟组建目的是把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化,从而减少手机设计的复杂程度和增加设计灵活性。

在此情景需求下,MIPI联盟顺势推出Mobile Industry Processor Interface(移动行业处理器接口),缩写即是MIPI,这是MIPI联盟发起的为移动应用处理器制定的开放标准和一个接口规范。MIPI联盟下面有不同的工作组(WorkGroup),分别定义了一系列的内部接口标准,比如摄像头接口CSI(Camera Serial Interface)、显示接口DSI(Display Serial Interface)、射频接口DigRF、麦克风/喇叭接口SLIMbus等。

可以看出MIPI并不是一个单一的接口或协议,而是包含了一套协议和标准,以满足各种子系统独特的要求,而MIPI CSI-2 (Camera) and MIPI DSI (Display)则是目前业界使用最广的两个MIPI接口标准,而这也是和视频传输相关的标准,所以后面我们会就针对这两个标准做进一步的介绍。

2. MIPI DPHY和MIPI CSI/DSI简介

CSI/DSI是MIPI对于Camera/Display指定的协议层标准、协议层管理通道的分布和合并、包的基本协议,它们需要运行在一个物理层(PHY Layer)上。
PHY Layer主要定义几个事情:
A 芯片到芯片之间,芯片和外部电路之间的传输媒介;
B 时钟和数据在时序上的相互关系;
C 信号的电气特性、参数等;
D 传输媒介的特性和电气参数以及时钟和数据的时序关系;
E 规范了数据传输的开始和传输的结束;

CSI-2和DSI共享一个名为D-PHY的通用物理层接口,这样设计是为了提高速率、降低功耗和EMI。

在PHY Layer,其实除了D PHY还有M PHY和 C PHY。

他们推出时间点和面向连接应用场景各不相同,MIPI CPHY在MIPI DPHY的基础上成倍增加了带宽,减少了线对数量,在高速大靶面传感器和高分高刷新移动设备OLED应用上越来越普及,而MIPI MPHY类似PCIE,是基于serdes的,用在兴起的存储,高速摄像头较多,感兴趣可以在MIPI官网进一步了解(https://www.mipi.org)。

3. AMD Xilinx MIPI DPHY实现

MIPI DPHY定义了两种模式:High Speed(HS)和Low Power(LP),两种模式使用不同的传输电平和传输机制。
A MIPI DPHY的是源同步系统,由发送端输出时钟;
B MIPI DPHY分为低速(LP)和全速(HS)两种传输状态,其中低速模式下不强制要求输出时钟且电平标准不一样;
C MIPI DPHY在LP状态下输出电平是LVCMOS 1.2V,在HS状态输出电平为SLVS;

MIPI DPHY属于源同步系统,转换为LVDS电平后就是一个通用的ISERDES逻辑,主要是时钟方案有两种考虑:

第一种:使用PLL、MMCM或DLL,此种方案对PLL的锁定时间有较高的要求,通常要求us级才能保证在时钟不连续模式下正常锁定,当然具有专用DPHY逻辑的器件有专门的PLL电路实现。这种方案的好处是不易受时钟毛刺的影响,接收较为稳定。

第二种:在源同步时钟基础上使用专门的时钟buffer分频(如Xilinx 7系列的BUFR),这种方案可适应任意速率,不需要预先设定速率来配置锁相环电路,缺点是易受时钟毛刺影响,出错率稍高。

HS模式下,为差分信号传输,信号电平在100mV~300mV(200mV的压摆);LP模式下,为单端信号传输,信号电平在0~1.2V(1.2V压摆)。HS模式下,信号传输速度可达80Mbps~1.5Gbps(v1.1),采用源同步的传输方式,由主机(Master)设备向从机(Slave)设备提供DDR时钟。LP模式下,信号传输速度为10Mbps,此时传输通道的差分线(HS模式下的)是两根独立的信号线。无论是HS模式还是LP模式,都采用LSB fisrt,MSB last的传输方式。对于两种模式为什么定义两种不同的传输机制,有兴趣的同学可以一起讨论下。由于MIPI接口电平比较特殊,DPHY 在LP模式下为1.2V的LVCMOS电平,在HS模式下为SLVS-400电平,结合成本和速率,Xilinx提供了三种方案实现。

3.1 800Mbps以下的电阻网络方案(低速率,低成本,低集成性)

可以参考Xilinx官方文档xapp894,要求800M Hz以下,走线300mm以内。

建议做板级SI simulation,原理图设计可以参考官方的SP701开发板。


3.2 1.5GMbps以下的电平转换芯片方案(中速率,中成本,中集成性)

MIPI DPHY 因为是要用到Select IO的Iserdes,因此受IO时钟速率的影响,可以布线到IO的最高时钟在7系列器件里面是BUFIO,可以达到800MHz,DPHY是DDR传输数据的,那么就意味着在7系列FPGA上接MIPI进来最大的Lane速率只能到1600Mbps。

使用专门ASSP进行转换主要针对单Lane速率在800Mbps以上的情况,目的是为了确保信号完整性,确保在高速率下的眼图质量。国外有一家公司专门做这种MIPI DPHY转LVDS的ASSP芯片(MC20001),实现方案如下图所示。其实MC20001/20002是可以支持到2.5G的接口电平转换,此时限制在1.5Gbps主要原因是受到FPGA LVDS IO速率限制。

3.3 80-2500/3200Mbps采用带支持MIPI_DPHY_DCI IO standard的通用FPGA(高速率,高成本,高集成性)

目前了解到的可以直接支持MIPI_DPHY_DCI(digital control impedance)电平标准的FPGA仅有Xilinx的UltraScale+系列的直接支持(HP BANK Only),IO结构如下图。

A 7-nm and 16-nm devices have built-in support for DPHY physical layer;
B No need of external bridges or resistor networks;
C DPHY IO switch between low-power mode ( 0- 1.2V single ended) and High-speed mode ( 0.1 - 0.3V differential) on the same pin;

目前在16nm器件最高支持2500Mbps DPHY,7nm Versal上支持3200Mbps DPHY,无需外部电阻网络和电平转换芯片,在内部HPIO bank集成。

在16nm和7nm DPHY IP上,LP mode和HS mode使用相同IO传输,而在28nm,受限于接口电平等因素,DPHY IP在LP mode和HS mode使用的是分离的引脚。

4. CSI/DSI 协议层实现在AMD Xilinx FPGA

MIPI CSI RX, CSI TX 和DSI TX 从Vivado 2020.1开始,不再需要License,属于Free IP,包含了PHY层和协议层,另外也单独提供DPHY IP,客户可定义自己的协议层,合作伙伴也提供第三方IP,带来更多的应用场景定制性,比如Northwest,Mixel之类。

CSI2/DSI结构类似于以太网的分层结构,以CSI结构为例:

PHY layer为物理层,通过控制时钟以及数据通道信号的电平值,实现低速模式(low power,或者说低功耗模式)与高速模式(high speed)的切换。

lane management layer负责检测各通道(lane)低速模式到高速模式的跳变,并检测高速数据的同步头(HS ...00011101...序列),进一步将各通道的同步头对齐到字节,最终各通道的同步头实现对齐。

low level protocol layer,按照csi2协议,解析出帧起始(Frame Start,FS)短包、视频数据长包、以及帧结束(Frame End,FE)短包,输出图像数据、帧有效、数据有效。
byte to pixel unpack format层负责将基于字节的数据,按照协议,还原成各颜色空间/格式的像素数据,比如rgb565,raw10等格式。

MIPI典型应用

MIPI典型应用是在ISP领域,CMOS senor输出视频流,给FPGA PHY层,串并转换后给协议层处理。

处理后的图像数据会在FPGA裸机里使用custom ISP,比如滤波,平滑,压缩,检测之类,在压缩时多用到的H.264/265已在ZU的EV系列支持,检测时除了传统的CV算法,也会加入客户定义的机器学习的一些算法,这个在DPU+Vitis AI里进行了支持。

下图是几种典型的应用场景,参考设计提供在Xilinx Wiki。
https://xilinx-wiki.atlassian.net/wiki/spaces/A/pages/174719104/Zynq+Ult...


如果您在MIPI方面有疑问,欢迎联系:

simonyang@comtech.cn

charlesxu@comtech.cn

jesonzhang@comtech.cn

最新文章