基于Linux和FPGA的嵌入式千兆网数据传输实现

 摘 要: 把现场采集的海量数据可靠地传到远程的服务器上是论文的任务。在Xilinx FPGA 上用Pow erPC 硬核、内存控制器和千兆网IP 核构建SOPC 系统。在Pow erPC405 上移植嵌入式Linux 操作系统, 实现了嵌入式千兆网数据传输。通过编程测试得出网络传输性能和数据包大小的关系。此外, 设计了用户自定义接口逻辑IP 核, 以便能和采集模块高速通信并缓存。该系统的优点是体积小、数据带宽高、可靠, 结果表明符合项目的要求。 中国散裂中子源实验的简图如图1 所示, 其原理是把中子束打在被测样品( 例如新药品或机翼材料)上, 探测被反射的中子位置就能计算出样品的内部结构图像, 其特点如下: A/ D 采集通道多, 每个通道的数据带宽高, 且需要把现场采集的数据传到远程服务器上。因此, 要求数据传输模块既要成本低、微型化、具备网络功能, 也要数据带宽高。[[wysiwyg_imageupload:1326:]]    单片机或ARM具有微型化、低成本的特点,但数据带宽和灵活性不满足本项目;工控计算机数据处理能力强,有网络接口,但是体积过大,成本高;传统高能物理实验采用的VME系统也因体积大、数据带宽有限而不适合用在中国散裂中子源实验上。FPGA有很高的性能,而且内部还集成PowerPC处理器、千兆网MAC等硬核资源,这使得在一块FPGA上就能构建一个完整的片上系统,使整个系统体积可以做的很小。在FPGA片内PowerPC硬核上移植嵌入式linux操作系统,用软件来实现网络传输协议可以解决用FPGA硬件描述语言实现TCP/IP协议难度大的问题。FPGA的高性能、高可靠性和Linux的灵活性完美结合在一个片内,能较好地满足本项目的需求。1 系统的总体构成及层次本系统可以分为5个层次,如图2所示,[[wysiwyg_imageupload:1327:]]     最低层为外围电路硬件层,每一层都是建立在其下一层之上。2 系统外围电路的简介本文在硬件上采用了实验室自行设计的电路板,用的是带PowerPC的xilinx Virtex4 FPGA,电路如图3所示。[[wysiwyg_imageupload:1328:]] 3 SOPC的构建SOPC (System on a Programmable Chip) 即可编程片上系统,把整个系统放到一块硅片上,是一种特殊的嵌入式系统,具有灵活的设计方式,可裁减、可扩充、可升级,并具备软硬件在系统可编程的功能。3.1 开发工具Xilinx 公司提供了FPGA开发工具EDK(Embedded Development Kit),它带有大量可配置可定制的IP核,可以大大提高设计的效率,使设计者把主要精力放在设计系统架构上,能很方便的对FPGA进行模块化的重构和裁剪,提高设计的灵活性,减少了外围器件,符合SOPC的思想。3.2 SOPC的总体构成SOPC系统构建完成后的框图如图4所示,其中PowerPC405是已经固化在FPGA内部的硬核,工作频率设为300MHz,配置时要选择cache选项,否则运行嵌入式Linux会很慢。PowerPC405通过PLB(Process Local Bus)总线核和各个IP模块互联构建了一个完整的SOPC系统。[[wysiwyg_imageupload:1329:]]3.3 内存端口的设置MPMC (Multi-Port Memory Controller)是DDR2内存控制器的IP核,它最多可以接八个数据端口,这样的好处是多个设备都可以通过各自的端口共享内存,本论文使用了四个端口:port0和port1都通过plb总线连接在PowerPC上,分别用于传输指令和数据,port2端口采用的是NPI(Native Port Interface)接口,用于接收A/D模块传输过来的用户数据,port3采用SDMA (Soft Direct Memory Access)接口,通过locallink总线和千兆网IP核相连。在对MPMC配置时要根据内存的型号、大小等实际参数来设置。3.4 用户自定义数据接口IP核开发工具虽然提供了一些常用的IP核,但是对于一些特定要求的逻辑,需要用户自己开发。由于从A/D采集板传送过来的数据速度很大,所以本论文在MPMC 的port2上采用NPI接口把A/D模块传过来的数据直接送入DDR2中。需要用硬件描述语言编写基于NPI接口的逻辑,并且还要编写基于PLB总线的IP核来实现对数据传输的控制,例如数据传输开始与停止、握手方式、数据包的大小等等。3.5 千兆三态以太网硬核的配置三态以太网TEMAC (Tri-Mode Ethernet Media Access Controller)是嵌在FPGA内部的硬核。本论文通过LocalLink总线使其连在内存控制器MPMC上,采用SDMA方式,使得数据直接从内存到网络接口而不必经过PowerPC的搬运, 这样在很大程度上减轻了CPU的负担,提高了数据传输速度。4 板级支持包的生成4.1板级支持包工具的选择和设置先在http://git.xilinx.com/网站上下载device-tree.git,它是板级支持包(BSP)生成工具。解压后放在EDK安装目录下的EDKswlibbsp,之后点击Software-->Software Platform Settings就可以发现并选择它了,如图5所示。[[wysiwyg_imageupload:1330:]]在device-tree下要把 bootargs的设置成console=ttyUL0,而不是默认的console =ttyS0,否则超级终端将没有输出。这是因为我们在调试时需要RS232串口作为超级终端,用的是XPS UART Lite核,但板级支持包默认的却是UART16500核。4.2 dts(device tree)文件的生成xilinx.dts文件是板级支持包工具device tree生成的,它记录了硬件信息。正是这个文件的存在操作系统才能知道本系统有哪些硬件及其属性。在EDK菜单中选择Software-->generate Libraries and BSP就会生成xilinx.dts文件。5嵌入式Linux的移植5.1安装用于PowerPC的交叉编译链并设置环境变量先下载并安装德国DENX公司提供的开发环境编译套件ELDK4.1,用source 命令设置路径和交叉编译环境变量,再用export ARCH=powerpc命令使其支持PowerPC架构。5.2 准备Linux内核及根文件系统这不是一般的Linux内核,而是专门针对Xilinx FPGA的linux-2.6-xlnx.git。可以到 git.xilinx.com网站下载最新版本的Linux内核。在http://xilinx.wikidot.com/网上下载根文件系统镜像压缩文件ramdisk.image.gz,把ramdisk.image.gz拷贝到内核文件夹的arch/powerpc/boot文件夹中。5.3准备 device tree文件需要把把EDK工程中板级支持包工具生成的xilinx.dts复制到嵌入式Linux内核文件夹arch/powerpc/boot/dts中,这样linux才能根据这个文件给硬件设备添加相应的驱动。5.4内核的裁剪与定制用命令make 40x/ virtex4_defconfig载入ML405开发板的内核配置,再用make menuconfig打开内核定制图形界面进行裁剪和定制,使满足自己的特定需求,需要选上TCP/IP协议。如果需要调试就要把串口驱动 xilinx uartlite serial port support选上。这样才能使用RS2323作为超级终端。保存配置后用make zImage命令就可以生成内核镜像文件了。6 测试结果与分析在EDK中选把硬件文件烧录到FPGA中, 把Linux镜像文件下载到内存中运行,这样一个系统就能运行起来了。编写一个基于socket的网络通信程序,把FPGA作为客户端,把PC机作为服务器端,从FPGA不断的向PC发送基于TCP协议的数据包,来测试每次发送的数据包大小和传输速度之间的关系。当发送的数据包大小为30000Byte时,用tcp/ip协议传输的速率是70Mb/s,用udp协议传输的速率是135Mb/s。在一定范围内,每次发送的数据包越大,则网络传输速率就越大。传输的速度即与powerpc、内存、内部总线的频率及位宽有关系,也与操作系统及应用程序有关系。7结束语本文详细的介绍了基于Linux和FPGA的嵌入式千兆网数据传输的实现方法,测试结果表明传输速度能满足设计指标。由于FPGA和linux都具有很大的灵活性,会给将来系统的升级和变更带来很大方便。