如何简单快捷地用小型Xiliinx FPGA加速卷积神经网络CNN

刚好在知乎上看到这个问题 如何用FPGA加速卷积神经网络CNN,恰巧我的硕士毕业设计做的就是在FPGA上实现CNN的架构,在此和大家分享。

先说一下背景,这个项目的目标硬件是Xilinx的PYNQ。该开发板加载了Linux Ubuntu操作系统,可以在CPU上运行现有的Python CNN架构如Caffe和Theano。本设计旨在用PYNQ加载的ZYNQ FPGA对于CNN核心计算进行硬件加速,以达到对于大规模信息流进行大吞吐量CNN处理。

该设计结构可以分为CPU端(前端)和FPGA端(后端)两部分。前端使用的是Python,用来与其他软件项目进行交互。前端将数据以数据流的形式由DDR传输到FPGA kernel。后端的FPGA硬件设计使用的是Synchronous Dataflow Paradigm。在这个结构之下,数据流以AXI-Stream的协议穿梭于每一个CNN层。每一个层都使用并行结构加上高性能流水线,使整体吞吐量效率达到一个非常可观的水平。

上图为实现LeNet-5的硬件结构示意图。对于LeNet-5,该设计达到了1.88GOP/S的吞吐量,与PYNQ上的DUAL CORE ARM CPU相比加速约32倍。目前该架构可运行LeNet和CIFAR10,有教程。

这个项目结构比较简单,适合FPGA初学者作为研究起点使用。感兴趣的话,可以以这个架构为基础设计几个CNN的应用,或者在它的基础上进行优化和再创造。

具体代码和报告详见github:link

文章转载自:awai54st的博客