刚刚,Xilinx推出面向所有服务器和云的业界首款自适应计算、联网和存储加速器卡

作者:张国斌

首款轻量级第四代 PCIe加速卡,面向数据中心关键工作负载大幅提升吞吐量,降低时延,并提升功耗效率

随着全球网络社交应用加速,数据中心需要实现大量计算密集型任务,如矩阵运算、图像处理和变换、机器学习、压缩、非对称加密、搜索排序等,这样的计算都是CPU不擅长的,因此一般CPU会将任务卸载给加速卡执行操作,这就激发的一个新的市场----数据中心加速卡市场。

赛灵思公司于2018年10月推出了功能强大的加速器卡——Alveo,用来大幅提升云端和本地数据中心中业界标准服务器的性能。利用 Alveo,客户在运行实时机器学习推断以及视频处理、基因组学、数据分析等关键的数据中心应用时,有望以较低时延实现突破性的性能提升。

Alveo 加速器卡相对于 GPU 能将时延减少 3 倍,在运行实时推断应用时提供显著的性能优势。数据库搜索等一些应用可从根本上得到加速,性能比 CPU 高90 倍以上。

赛灵思去年首批发布了Alveo U200 和 Alveo U250 ,均属于高性能加数卡,其中,Alveo U250实时推断吞吐量比高端 CPU高出20 倍,相对于高端 GPU等固定功能的加速器,能让 2 毫秒以下的低时延应用性能提升 4 倍以上。

今天赛灵思再宣布推出 Alveo™ U50,进一步扩展 其Alveo 数据中心加速器卡产品组合。Alveo U50 卡是业界首款可以支持第四代PCIe ( PCIe Gen 4) 的轻量级自适应计算加速卡, 特别为单个可重配置的 FPGA 平台就能大幅加速各种不同的关键计算、网络和存储工作负载而设计。 这样,赛灵思 Alveo形成了从高到低的配置阵容。

“当2018年赛灵思推出Alveo产品系列的时候,就说我们有这样一个愿景:不仅加速计算,而且同时加速网络和存储,实现在Alveo平台上的整体加速,现在我们终于实现了这样的愿景。通过U50 这个Alveo平台扩展产品,可以显著改善吞吐量、时延和功耗效能。”赛灵思数据中心业务部产品规划和市场营销总监Jamon Bowen在发布会上指出,“Alveo也在不断软件合作伙伴生态系统。让Alveo平台越来越易用。赛灵思宣布推出Alveo U50,这是专门面向所有服务器、所有云而打造的业界首款自适应计算、网络、存储加速器。”

他指出赛灵思希望FPGA加速器实现三个特征:快速、灵活应变和方便易用。快速,要有高吞吐量,并且具有超低时延;灵便应变,是指为各种各样的工作负载进行加速,方便易用---不仅在云、在本地,也可以运用于一系列的应用。

据介绍,Alveo U50是标准化的即插即用型加速卡,“Alveo U50不像GPU加速器那样很大尺寸,那样的卡不适合网络和存储加速。我们采用UltraScale+的架构,还集成了超高带宽的HBM2存储器技术,所以大幅度缩小了产品尺寸。因为内存加在了FPGA上,所以不仅仅能够释放巨大的空间,而且还能够使得性能获得显著提升。”他指出,“HBM性能就是DDR的10倍,所以在性能提升的同时,也能够减小尺寸。为客户提供了小尺寸、低功耗的可编程加速器平台。”

Alveo U50专门面向所有服务器部署,为本地、云端和边缘的横向扩展架构和特定领域加速而打造。为了应对云微服务等新兴动态工作负载的挑战,Alveo U50在吞吐量,延迟和功效方面实现了10-20倍的改善。Alveo U50 支持第四代 PCIe 和 CCIX 互联标准。通过支持标准的 PCIe 服务器插槽和仅相当于现有 Alveo 卡1/3的功耗, Alveo U50的8GB HBM2 提供了超过 400Gbps 的数据传输速度, QSFP端口提供了高达100 Gbps的网络连接。此外,高速网络 I/O 还支持各种前沿应用, 如NVMe-oF™解决方案(NVM Express over Fabrics™),解耦计算存储和专业金融服务应用。

为什么要进行加速?

Jamon 介绍说赛灵思的加速技术应用于数据中心的所有领域,具体而言就是加速计算、网络和存储三个方面,他还解释了为什么要进行加速?“因为我们现在看到的总体趋势是越来越多的应用需要领域专用架构,使硬件能够和算法去进行匹配以达到最佳运行效果,现在网络上有很多不同的数据,这些数据在运行过程中要求不一样而且专用领域的架构也在变化,所以需要我们硬件能够跟上领域专用架构的发展,同时还要提升性能以便发挥最优的功能,这就需要加速了。”他解释说,“为什么赛灵思的硬件运行速度能够改善很多?因为如果要优化性能,首先要有定制的数据途径,还要有定制的进度。具备在这两点之后,应用才能非常顺利的进行处理,而无需不断的进入存储层级去做复杂的流程就能进行直接处理。赛灵思在这方面能够给硬件加速,还可以通过再编程的方式来调整一些设置。”

他指出赛灵思了解到数据中心客户的一个痛点是器件编程困难,一次Xlinix的Alveo简化了硬件编程程序,基于开放的平台和环境和进行加速,让开发者能够更加便捷地使用这个平台。

“如果有越来越多的开发者到我们这个平台上来,我们也会加入更多的云、更多的产品,并且能够实现原来只有在软件部分才有的硬件IP的灵活应变能力。最主要的一些解决方案涵盖的领域包括数据分析、视频与图象处理、机器学习、生命科学和金融计算。”他指出,“我们有非常广泛的客户和伙伴,大家都在用Alveo这样一个平台生态。我们在上面也加入了很多IP和很多驱动来支持合作伙伴和开发者。我们希望能够开发一个全堆栈的解决方案,所以自Alveo推出不到一年的时间,现在已经有很多的生态合作伙伴就推出了基于Alveo的解决方案。”

他透露,自从去年10月份推出Alveo以来,目前已发布的应用增长两倍。赛灵思培训的开发者也是当初的4倍,赛灵思希望这种增长是几何级别的。

一些加速实例

他强调赛灵思的产品商业化的标准化产品,例如随着容器化越来越普及,使用赛灵思的产品可以直接使用 IBM的Kubernetes和docker产品,在Kubernetes当中就可以直接有一个插件,它可以在系统内部很快反映出来有Alveo加速硬件,另外开发者也可以把它和docker配合起来使用,第一步对Alveo进行编程,然后系统中也能体现出这样一个加速应用。而如果没有这样一个标准化产品的话,客户可能需要花费大量的投资才能够实现这样的功能。“这对一些超大规模数据中心的应用来说是非常有必要的,既可以在云端,也可以用Alveo在本地进行加速,大家只要在Kubernetes的框架当中来看到我们这个插件,就非常一目了然。”

他介绍了Alveo U50具体加速性能:

➢ 深度学习推断加速(语音翻译):时延降低高达25倍,吞吐量扩大10倍,同时在语音翻译的性能方面,相比仅使用GPU,每节点的功耗效率实现了显著的提升。 “Alveo U50最重要的一个的特征就是它的高吞吐量和低时延推断性能,对于这个应用来说,这两个特点非常重要的。因为在这个领域中的机器学习和之前的神经中枢网络使用的是不一样的,而这正是Alveo U50的优势所在。”他解释说,“在这个例子当中,赛灵思的Alveo U50 和英伟达T4 相比,性能提升高达10倍,而且U50的尺寸非常小,对于需要在同城提供服务数据中心的运行也是非常重要的,所以赛灵思U50的小尺寸也适合边缘计算用例场景。”

➢ 数据分析加速(数据库查询):运行 TPC-H Query 基准测试时,Alveo相比存储器内的 CPU,每小时吞吐量提升 4 倍,运营成本降低 3 倍;

➢ 计算存储加速(压缩):将压缩/解压缩吞吐量提高了 20 倍,实现了更快的Hadoop 和大数据分析,同时相比仅CPU节点将每节点成本降低了 40%;

➢ 网络加速(电子交易):相比仅 CPU 的 10微妙延时,能将时延降低 20%,交易时间不到 500纳米;

➢ 金融建模(网格计算):运行蒙特卡洛 (Monte Carlo)模拟时,AlveoU50 的功耗效率相比 GPU 提升7 倍,能够更快获得深入见解,实现确定性时延和运营成本的降低,“金融领域是一个完全不同的应用领域,要支持交易,就要在获得关键市场数据信息后做出计算,从获得数据到做出决定之间的时间差是非常关键的,所以金融界都有衡量指标,就是获得市场数据之后下单完成交易之间需要多长时间。使用U50,只用了不到500纳秒时间,而使用CPU 则需要10毫秒,所以U50的时间性能是CPU的20倍!

还有一个例子就是Hadoop,以下图为例,采用U50之后,数据量压缩了一半,而且数据吞吐量提升了20倍,Alveo非常实用的后端加速服务,能够帮助数据中心客户节约大量成本。

他透露说赛灵思芯片开发线路中,有下一代Versal系列产品,以后也会融入到处理器和子系统中。跟已经发布的赛灵思Alveo加速卡相比,U280主要是计算领域比较强,可用在一些基因组测序医学领域,而U50在计算方面稍弱,但在联网和存储方面会更强。

“总的来说赛灵思打造的是一个平台型的,广泛产品组合的加速卡系列。在加速应用方面超越了CPU和GPU。”他总结说。

AMD 应用工程副总裁兼CTO Raghu Nambiar 表示:“即将面世的AMD 第二代 EPYC 处理器系列理想适用于Alveo U50 这样的数据中心优先加速器,可将计算、网络和存储加速功能整合在单个平台上。借助 AMD 即将率先推出的 x86 服务器级第四代 PCIe CPU 的领先优势,Alveo U50 将成为业界首款可以支持 第四代 PCIe 的自适应加速器卡。我们期待着与赛灵思不断展开合作,一同将融合 Alveo 加速技术的 AMD EPYC 解决方案的优势提供给超大规模数据中心及企业用户。”

Alveo U50 于今天开始发布样片,OEM 认证正在进行中, 2019 年秋季将全面供货。

赛灵思将于 8 月 6 日至 8 日在加州圣克拉拉会议中心举办的闪存峰会(Flash Memory Summit (FMS) 2019)上演示Alveo U50 和其他产品,演示展台为 313 号。

推荐阅读