危险了!FPGA可以直接运行GPU代码!

作者: Laura,文章来源:SSDFans微信公众号

AI初创公司Mipsology正在与Xilinx合作,据说打算让FPGA依靠一个附加命令取代AI加速器中的GPU。Mipsology的“zero effort”软件Zebra可以转换GPU代码,使其能在FPGA上的Mipsology AI计算引擎中运行,同时无需改写任何代码或进行重新训练。

近日,Xilinx宣布,将向Zebra数据中心交付最新版本的Alveo U50卡。Zebra已经支持在其他Xilinx板(包括Alveo U200和Alveo U250)上安装加速接口。

Xilinx最新版本的Alveo U50数据中心加速卡,与Mipsology的Zebra软件一样,能转换GPU AI代码,同时在FPGA上运行(图片来源:Xilinx)

“Zebra加速Alveo卡的能力,让CPU和GPU加速器望尘莫及。”Xilinx营销副总裁Ramine Roane表示:“通过与Zebra的结合,Alveo U50能适应灵活的AI工作量并且满足其性能需求,让任何工作部署达到高效率和低延迟的效果。”

即插即用

过去,对于非专业人士而言,FPGA编程的难度人尽皆知,但是Mipsology希望FPGA能像CPU或GPU一样,即插即用。这样做能让从其他种类加速器转换到FPGA的过程更简单。

Mipsology首席执行官Ludovic Larzul表示:“观察(Mipsology)的最佳方法是,采用FPGA的软件,来使它们透明化,就像Nvidia使用Cuda CuDNN来使GPU对AI用户完全透明一样。”

更重要的是,因为这一过程无需重新训练模型,所以非专业人士也能完成,他们无需具备完备的AI专业知识或FPGA技能。

“便捷很重要。因为当您查看其他人的AI项目时,他们通常无法访问AI团队所设计的神经网络。”Larzul表示:“一般情况下,如果有人要安装一个机器人系统或一个视频监视系统……他们会邀请其他团队或其他第三方来开发和训练神经网络。一旦他们获得了训练好的模型,他们便不会去改变它,因为是他们没有专业知识做支撑。”

Zebra堆栈 该技术适用于数据中心、边缘和嵌入式应用程序(图片来源:Mipsology)

Versus Xilinx

Xilinx为什么在已经拥有自己的神经网络加速器引擎(XDNN)的情况下,还会支持第三方软件?

Larzul说:“原因总结起来就两句话,第一句是我们能做得更好;另一句话是我们的产品的确有用。”

Mipsology在Zebra中拥有属于自己的计算引擎,该引擎支持客户现有的卷积神经网络(CNN)模型。而它与XDNN不同。Larzul表示XDNN支持大量演示,但不太适合定制神经网络。他还表示,Mipsology让定制网络占了上风,而让XDNN的使用看起来很“艰难”。尽管在应用程序中,XDNN不受GPU的影响,拥有一定的竞争力,但Zebra旨在通过性能、成本和便捷等优势,让FPGA能够抵挡住GPU的正面冲击。

Zebra堆栈的具体细节 目的是通过尽可能隐藏硬件,让FPGA成为AI加速器中GPU或CPU更便捷的替代品(图片来源:Mipsology)

Larzul说,成本是大多数客户放弃GPU方案的原因。

“他们希望降低硬件成本,但不想重新设计神经网络。”他说:“因为我们能够透明地替换GPU,所以这样(避免了)一笔非经常性的费用,同时也无需重新训练或修改神经网络。”

Larzul表示:FPGA安全可靠,部分原因是因为它们在芯片产业不具有攻击性,而且通常比其他加速器(包括GPU在内)的运行温度更低。这对于长期维护成本高的数据中心来说尤为重要。

“总成本不仅仅只包括电路板上的花销。”Larzul说:“为确保系统正常运行还需要另外支付一笔费用。”

Larzul还表示,Zebra还致力于加强FPGA在性能竞争力。尽管FPGA通常比其他加速器提供的TOPS(每秒兆级的操作)更少,但Zebra精心设计的计算引擎让TOPS的使用更高效。

Ludovic Larzul (图片来源:Mipsology)

他说:“大多数ASIC初创企业在加速AI的过程中都忘记了一件事,就是他们其实是在做一块很大的芯片,可以容纳更多的TOPS。但是他们没有考虑到如何在这块芯片上高效地绘制网络。”他还指出,与拥有6倍量TOPS的GPU相比,基于FPGA的Zebra引擎每秒能够处理的图像数量却更多。

这些是如何实现的呢?尽管Larzul没有透露具体细节,但他确实说过FPGA不依赖重新训练,原因是因为这样做会大大降低精确度,从而使得芯片达不到要求。由于同样的原因,他们也不使用极限分层(低于8位)。

Zebra引擎加快了CNN的速度,目前虽然大多数CNN都用于图像和视频处理应用程序,但是Zebra也可以应用到使用类似数学概念的BERT(Google自然语言处理模型)中。Zebra的更新换代可能会涵盖其他类型的神经网络,包括LSTM(长期短期记忆)和RNN(递归神经网络),但是从数学角度来看,因为RNN更加多样,所以这一设想很难实现。

来自EVE的团队

Mipsology成立于2015年,在法国有一个约30人的研发团队。同时它在加利福尼亚设有一个办事处,主要负责业务发展。该公司已获得总计700万美元的资金,其中有200万美元是2019年法国政府创新大赛所获得的奖金。

Mipsology的核心团队来自EVE,它是一家生产ASIC仿真器的公司。2012年该公司因其具备生产ZeBu(Zero Bug)硬件辅助验证产品的能力,被Synopsys收购,当时该公司是Cadence钯金验证平台的竞争对手。Larzul认为,EVE技术受到几乎所有主流ASIC公司的青睐,它在设计周期内能验证ASIC。该技术依赖于数千个连接在一起的FPGA,来重现ASIC行为。

Mipsology 正在申请12项专利,并且达成了与Xilinx的紧密合作。同时能与第三方加速器卡兼容,这些第三方加速器卡包括Western Digital小型(SFF U.2)卡和Vega-4001等。

原文链接: https://www.eetimes.com/start-up-helps-fpgas-replace-gpus-in-ai-accelera...

推荐阅读