Xilinx AI engine

作者:安平博,Xilinx高级工程师;来源:AI加速微信公众号

引言

随着人工智能和5G的兴起,数据处理对芯片的算力和带宽要求更高。为了布局未来,助力人工智能和5G,赛灵思也推出了自己的FPGA加速芯片-ACAP。ACAP是一款基于7nm工艺,集成了通用处理器(PS),FPGA(PL),math engine以及network-on-chip的革命性芯片。特别是新增的ME结构,是一个类似于GPU的多核并发计算单元,可以大大提高数据处理能力。同时ME支持软件语言C,C++,这有利于扩大FPGA的使用用户,同时方便了设计开发。

ME结构简介

ME结构由很多ME核组成的二维阵列结构,核之间可以实现数据通信。ME阵列通过NoC可以和PL以及PS端进行通信,NoC是一种互联总线,其提供了ME阵列到PL侧的高带宽通路。ME核包含了BRAM,DSP以及控制逻辑。ME具有以下特点:

1) 有一个RISC处理器,能够支持32bit标量数据运算,包括sin/cos,开方,乘法等操作;

2) 向量乘法计算单元。这是一个由DSP组成的阵列,能够支持32个16bitx8bit,64个16x8bit,128个8x8bit计算。还支持8个单精度乘法计算;

3) 指令控制结构支持load和save,向量乘法等操作,这些操作统一用一个指令字段描述;

4) 含有多路AXI stream,可以实现高速数据通信;

5) 含有一个128bit宽1K深的程序存储器,支持指令压缩,可通过AXI-MM进行配置;

6) 含有多个数据存储器,分成多个bank,共有32KB容量;

7) 含有配置接口,用于ME核的配置和调试;

8) 含有debug/trace/profile功能,用于程序追踪和调试;

ME核的工作频率达到1GHz,电压0.7V,具有较低功耗。ME支持多种形式的数据传送,包括AXI-MM,AXI-stream,以及ME之间共享的bank进行数据直接交互。

为了保证性能的可预测性,ME之间数据通信不存在缓存一致性。但是ME和PS之间通信是需要缓存一致性功能的,ME和PS端共享DDR中一段内存。当PS处理完数据发送给ME时,是要保证处理的数据都已经存储到DDR中了。而ME处理完数据写到DDR中后,也要让PS知道数据已经写完。ME可以使用虚拟地址去访问PS的存储或者DDR,ME地址会经过PS端的MMU进行解析。

为了保证某些过程的安全性(比如对TrustZone的保护,或者防止ME阵列的重要信息被读取),ME提供了一些保护措施。主要包括对ME访问的保护,AXI-MM传输的安全性保护,AXI-stream数据访问的保护等。

ME阵列可以在功能上被分割成多个子阵列使用,这可以用于一些需要ME阵列完成多种功能的任务。其中ME核,AXI-stream,数据存储访问等模块都可以被分割。只有AXI-MM不能被分割。NoC中可以支持对控制信息的修改,从而可以给不同子阵列发送不同的控制信息。每个ME核含有256Kb的数据存储器和128Kb的程序存储器,对于一个300个ME核的芯片就含有77Mb数据存储和38Mb程序存储,这么大的空间,保证数据准确性是很关键的。因此不论是数据存储器还是程序存储器都提供了ECC校验,以防止软件错误产生的数据错误问题。程序存储器每144bit包含128bit有效数据和8bitECC校验位。8bit校验位可以在每64bit数据中纠正1bit数据和检测出2bit数据错误。存储数据出错会生成错误事件,反馈给debug或者profile模块报告这些错误。

ME阵列被分配了4个1GB的地址映射区域,目前芯片只有一个ME阵列,所以只使用了1GB地址映射空间。ME的地址含有整体阵列的offset,阵列的行列编号,以及ME核中存储地址。这些信息可以确定往哪个ME中的存储位置读写数据。

ME中有4个时钟:ME核时钟,高频,可到1GHz,用于ME中的数据传输和运算。NoC时钟,数据时钟,用于从PL到ME的数据输送。PL侧时钟以及NPI时钟,NPI时钟用于调试追踪等。

数据传输结构

为了保证不同设备之间的数据交换,我们需要满足两个条件:一个是数据实际的流通,这个包含数据传输通路和数据存储;当然也不必包含有存储,流水线处理的数据只有数据流通;另外一个是发送者和收发者之间的同步。接受者接收数据只有在发送者发出数据之后,同时发送者发送数据必须等接受者准备好接收数据。因此一些同步信号是必须的。

ME阵列中能够实现数据交互的设备有:

1) 本地存储bank。每个ME包含8个bank,这些bank可以用于和周围4个ME进行数据通信。ME通过load和save指令来读写本地存储器。如果ME的写和另外一个ME的读同时发生,可以通过ping/pong操作同步。

2) Stream-network可用于所有ME之间数据交互。而且stream本身是具有同步信号的,所以无需增加额外同步信号。

3) AXI-MM接口能够用于ME和PL端甚至是外部存储器进行通信。

保证数据同步的装置有:

1) ME本地原子锁。这个锁可以保证生产者和消费者的数据访问冲突解决。如果锁被置为1,表示可以被读,如果为0表示可以写。

2) Shim-DMA锁。用于同步不同DMA通道,或者DMA通道和AXI-MM通道;

3) 信号量机制。对于ME和PS端的数据通信,还可以通过软件层次的信号量机制来进行同步,因为PS端可以通过AXI-MM接口实现和ME之间的数据同步;

4) Stream网络自身附带的同步特性,用于不同ME之间交换数据。

PL和ME由于处于不同时钟区域,ME是高频时钟,而PL侧时钟频率较低。为了实现数据跨时钟域传输,芯片提供了shim接口,shim中含有异步FIFO。FPGA可以以64bit或者32bit将数据写入FIFO,而ME将FIFO中数据读出进行运算。ME获得数据有两种方式,一种是通过DMA将数据读出写入到ping/pong buffer,这样可以实现ME核中两个函数的计算任务。如果ME中不需要ping/pong操作,可以不同各国DMA将数据存储到buffer。可以从stream直接获得数据进行计算。

接下来我们看看ME内部数据如何通信:

1) ME内部不同操作之间可以使用shared memory来进行数据交互,但是每次只允许一个操作来访问shared memory,即读写无法同时进行;

2) 两个相邻ME可以通过shared memory来进行数据交互,通过ping/pong buffer可以实现一个写一个读;

3) 对于不相邻的ME,也可以使用ping/pong buffer。但是这个时候ME无法直接去访问另外一个ME的存储,但是每个ME都可以建立自己的ping/pong buffer,这两组buffer可以通过DMA进行数据交互;

4) 不同的ME之间还可以通过AXI-stream接口进行数据交互;

5) 有时候一个大型计算要在几个ME之间完成,这就需要不同ME之间进行高速数据通信,相邻的ME之间还有级联总线,可以实现两个ME之间的累加运算,这个总线位宽达到384bit;

6) ME还可以直接从外部存储器中获得数据,它将数据请求包发送给ME-shim,这个请求包含有包头和数据请求信息,包头中有原和目的地址,数据请求中含有数据长度信息。

推荐阅读