AI时代,怎样利用FPGA架构在无人机视觉等方面进行快速应用

作者:Challey ,来源:机器人网

FPGA在无人机中的应用已经有很多案例,譬如:基于FPGA的无人机控制器设计方案,包括电机控制方法,基于FPGA的无人机电机控制方法等等。今天这里我们不讨论技术实现细节。

在一年一度的中国电子ICT媒体论坛暨2019产业和技术展望研讨会上,机器人网与赛灵思(XILINX)进行了交流,了解到关于无人机方面可以采用FPGA快速实现无人机的视觉控制,早在2017年就与国内一厂商合作研发了无人机的手势控制。

一、FPGA在芯片设计中的地位

我们过去调侃国内的AI芯片创业公司,说这几家做AI芯片的创业公司自己谁都没赚到钱,但把卖仪器仪表的公司喂得饱饱饱的。

为什么会出现这种情况,我们来了解一下FPGA在芯片设计行业发展中的特点。

计算芯片工艺从过去28纳米、20纳米, 16纳米,14纳米、10纳米、7纳米、5纳米、3纳米,摩尔定律使芯片性能增加速度越来越饱和。大家看到技术的趋势,只有高端的消费类、迭代很快的产品(例如手机)才能支撑得起最先进工艺高昂的芯片迭代成本。至于芯片的发展趋势,无论从CPU、GPU到FPGA、ASIC,对于通用芯片来讲,它的好处是应用比较广泛、上手比较快,大公司如谷歌、阿里也在出芯片,众多创业公司都在做各种各样的ASIC,希望在特定的定制领域提供一些场景和应用。对这些特定的场景和应用,ASIC的性价比可能更高,所以技术发展的趋势一定是从CPU、GPU到 FPGA,最后到ASIC。所以在市场上有一个很重要的时间窗口,就是每个行业在需求成熟之前,在各大公司有能力、有信心去开ASIC把这个钱赚回来之前,大家不会去开ASIC,而且这时候又需要一个平台做初期的市场尝试或者在激烈的市场竞争中快速将创意变成现实, 想要赢得市场先机,这时候FPGA就是最好的计算平台产品。

二、赛灵思的新战略和下一代Versal计算引擎

赛灵思在2018年发布了新的战略:数据中心优先,加速传统的八大核心市场,驱动自适应的计算。其传统的市场大概分成八个方向:第一类汽车,在AI出来之前,赛灵思在汽车行业已经深耕了十几年,有各种各样的符合车规认证的车载芯片。在通信领域,各种各样的FPGA做高性能的信号处理。包括航空航天,传统的工业控制、医疗,包括仪器仪表。

赛灵思发布的下一代Versal计算引擎,首先是面对通信和人工智能高性能场景,定义了完全不一样的芯片架构,利用3D技术提供高性能的高带宽存储,提供两个能力,一个是计算能力,一个是存储能力,人工智能的网络都是几十几百层,几千万上亿参数的快速运算和反复的读取,如果每一层的数据运算的结果都需要去读写的话,一个是延时长,一个是功耗大,所以为什么现在主流做AI芯片慢慢会提供尽可能大的存储空间,而3D的技术是最有效提供高性能面向存储的技术。同时赛灵思充分利用硬核处理器功能,支持AI场景的快速运算。

三、整套全面的快速解决方案

在过去几年的AI公司碰到的痛点是,大家做芯片本身没有那么难,无论是AI芯片包括其它的芯片,包括国家自己做的各种CPU,把芯片本身做出来不难,但是为了用起来,需要的软件、生态环境、工具链,各种参考应用,这些需要花更长的时间,更多的资源才能帮助市场和客户把产品用起来才是最关键最核心的因素。

我们看到赛灵思也意识到到了这点,因此提供了整套的产品,包括为客户提供不同层次的支持,从底层的硬件,中间各种各样的IP以及软件,应用层各种各样的神经网络模型,都可以提供,所以理论上来讲,选择赛灵思不同的神经网络,选择合适的芯片、合适的硬件,这些PCB的板卡都比较成熟,无论是赛灵思还是市场上比较有实力的客户都有能力做这些硬件。

如果结合赛灵思传统的开发软件,把这些整套的AI相应的工具用起来,就可以快速地实现产品的部署。

四、行业解决方案

从行业的角度来讲,譬如无人机行业,作为研发厂商,我们可能希望芯片商能为我们提供一个专用的AI解决方案。但是大部分芯片厂商提供的是通用解决方案,包括赛灵思,除非你能有非常大的量,可是无人机目前全球一年的销量也才区区100万台左右,根本做不到“大量”。

赛灵思提供的也是通用的AI解决方案,也就是说,赛灵思的AI解决方案提供了既能做人脸,也能做车辆检测等方面的视觉识别应用,为了实现这样的通用性,也就是灵活性,赛灵思做了两件事情,第一件事情是在底层定义了自己的指令级和IP,这些IP是非常高效的定制IP,就是来专门为人工智能做不同的算子,比如特殊编程,提供定向加速的IP,定向到相应的指令,但这还是很底层的硬件开发能力。同时,赛灵思开发了工具,通过这些工具和SDK为用户提供了接口。所以工程师不需要写任何一行代码,只需要调用起来,就可以支持不同行业不同场景的应用,但是根据特定的行业肯定要做相应的再处理。因此,无论是人脸、车辆等等都是不同的CNA,它们核心的算子都是一样的,就是网络架构和参数配置不一样,然后生成不同的指令,最终运行在不同的硬件平台上。

赛灵思是希望通过这样一个通用的处理器平台,为客户提供一个比较高效的开发用户体验。

好处是,我们基本上不用去关心底层,只需在上层结合自己的业务和特定场景,譬如无人机的手势识别与控制,目标物体的识别等等。

五、解决周期与代价痛点的快速解决方案

我们都知道,FPGA很多场景应用都非常高,代价就是周期比较长,三个月六个月一年都有可能。

好在赛灵思推出了快速解决方案:最快几个小时就可以把新的网络部署在硬件上,就可以把系统运行起来,这对人工智能的创业公司来说是最重要的,可以非常快地拿到一个原型机,用这些原型机去真正的场景做性能、功能的迭代、数据的收集,这样产品才能更快地比别人推向市场。

六、免费的AI午餐

赛灵思作为一颗传统的FPGA芯片公司,现在已经慢慢走向另外一个维度,他们为客户提供的不单是一颗芯片,以及围绕芯片的PCB层面的参考设计,现在赛灵思可以为客户提供:基于芯片、IP加上工具,以及客户在真实场景中真实应用的算法,整个一套都帮客户提供参考设计,而参考设计的神经网络,通常会免费提供给客户,目的是帮助客户更好的使用基于赛灵思FPGA的解决方案。

所以无论是给警察用,包括重要领导人的出访,事前事中事后的布防,包括追踪等等,车辆信息的检测,包括车牌、车的型号,包括行人衣服的颜色,有没有戴眼镜等等信息都是最基本的。

赛灵思觉得现在有能力帮助客户提供各种各样的应用层面的参考设计跟行人参考的应用,行人关键点的检测,这都是很普通的应用,他们希望这些应用是给人和机器之间提供了另外一类人机交互的接口。譬如,很多人都玩过无人机,大家玩的时候要么两个手拿手机,要么两个手拿控制器,但是有了人机交互新的界面之后,有些特定的动作,拍照、录视频等等,可以极大地提升娱乐性。

机器人网了解到,赛灵思为了让客户更好地使用他们的产品,做了很多创新和努力。传统的方式就是提供RTL full design工具,这是传统领域适用的。主流的人工智能公司都是算法公司,他们都不知道FPGA是干什么的,而赛灵思会逐渐提供各种各样的工具、底层的功能模块,比如网络接口、物理层各种各样的接口和计算单元,包括DPU也是IP的一种,基于这种IP,如果赛灵思没有现成的IP就会提供给客户,但客户说我还有其它功能,没有IP怎么办,就会提供HLS,通过工具把这些代码自动转成底层的代码,再往后赛灵思在嵌入式系统层面提供各种各样的系统,包括车载的系统等等,在嵌入式层面,把相应的东西尽可能配置好,减少开发周期,最终在应用层面提供各种库,比如说人工智能的网络库。在平台层面,赛灵思把不同的应用放在AWS、阿里云、华为云上,这样客户用华为云的方式调用IP。最终赛灵思会提供各种各样的端到端的IP。这是过去几年赛灵思做的很大的转变,通过这种转变他们也希望能够在未来人工智能时代配合客户和合作伙伴快速地进行产品落地。

在赛灵思战略中,无人机也是其中重要的一个消费领域

在赛灵思战略中,无人机也是其中重要的一个消费领域

行业展望:AI可能成为无人机行业未来致胜的关键

无人机发展到目前这个阶段,消费类市场由于高度集中,出现了一家独大甚至垄断的局面,正是因为这样的情况,导致创新越来越匮乏,而以前在消费类市场拼杀的公司基本转向行业应用,特别是零度。也因此,无人机在各种行业的应用百花齐放,未来可能的消费细分市场也将会有新的公司出现,在AI盛行且具有实际落地应用的关键时间窗口,怎样快速在无人机上应用AI将成为行业无人机胜出的机会,新一轮残酷的优胜劣汰又将开始了,谁能快速且牢牢的占据AI的制高点,将打破平衡,迎来无人机行业的新时代。

文章转载自: 机器人网

最新文章

最新文章