斯巴鲁最新双目 ADAS 背后的秘密武器

作者:钱亚光,文章来源:汽车商业评论微信公众号

新一代 Eyesight 系统采用了赛灵思车规级器件,既加快了对前方物体的测距速度,又能灵活地以最低成本融入最新的 AI 功能。

近些年,汽车不但主被动安全上有了质的飞跃,还出现了更先进的“预防性安全”的理念。

美国高速公路安全保险机构认为,汽车配备 ADAS(高级驾驶辅助系统)可以避免超过60%的交通事故。

ADAS 示意图

ADAS 利用安装在车身四周的传感器,收集车内外环境信息,帮助驾驶员尽可能早地察觉到危险,并采取相对应的措施,甚至是系统主动干预车辆的控制,从而在源头上降低事故的发生。

在当下的汽车市场中,越来越多的车企开始将 ADAS 作为“标配”装备到量产车上,以往只有豪车车型才有的功能,已经逐渐下探至自主品牌的大多数车型上。

根据中国汽车工业协会预计,2020年,汽车驾驶辅助、部分自动驾驶、有条件自动驾驶,新车装配率超过50%,网联式驾驶辅助系统装配率达到10%, ADAS 的总渗透率可达到50%。

ADAS 也被众多厂商视为研发及宣传重点,在预防性安全领域有长期研发历史的斯巴鲁也是如此。

斯巴鲁全新一代 LEVORG

8月20日,斯巴鲁全新一代 LEVORG 在日本正式开启预订。

新车配有最新一代的 EyeSight 主动安全系统套装,车身遍布的360°全景摄像机,配合赛灵思 SoC(System on Chip,片上系统)的强大运算能力,可让车辆实现大范围的碰撞预防能力,新系统与高清地图配合,车辆还能够在临近弯道时协助驾驶者提前进行减速,特定条件下还可实现双手脱离方向盘的辅助自动驾驶。

斯巴鲁对行车安全的执着

斯巴鲁对于汽车安全性能的提升一直非常重视,早在1989年它就成立了斯巴鲁技术研究所,致力于研究汽车智能化和机器人技术。EyeSight 采用的立体摄像头技术从那时就开始了研发。斯巴鲁作为汽车制造商,也非常自然想到了把立体摄像头应用到汽车之上。

在1991年的东京车展,斯巴鲁向外界公布了立体摄像头概念。1992年,在公司内部发布了安装了立体摄像头的汽车。

斯巴鲁早期的双目摄像头系统

2008年5月,搭载第一代 EyeSight 系统的力狮正式上市,此时的预碰撞系统虽然能进行紧急制动,但是无法使车辆完全静止。

2010年5月,第二代 EyeSight 系统搭载在了第五代力狮上,其预碰撞系统可在30公里/时速度下刹停。

第三代 EyeSight 系统在2013年10月发布,增加了车道保持功能,当前车紧急制动时,前后车相对速度小于50公里/时,预碰撞系统能避免事故发生。目前,该系统的装车量已经超过了100万辆。

新一代 EyeSight 系统的优势

斯巴鲁最新一代 EyeSight 系统

在斯巴鲁的全新 LEVORG 上,利用前风挡内左右两侧各装备一颗彩色高成像识别的摄像头组成了双目 ADAS,兼具单目摄像头的物体识别能力和激光雷达的测距能力。

单目 ADAS 需要在测距前先识别障碍物,再进行测距,因此单目摄像头方案需要大量样本库,在识别物体后,再从成像尺寸或者在图像中的位置信息得到距离信息。

而双目 ADAS 基于人眼视觉的双目测距原理开发而来,不需要样本库,将摄像头拍摄到的各类障碍物实时运算转换为距离,通过计算与物体的相对速度和距离实现碰撞预警、车道偏离预警等智能驾驶辅助功能。

双目 ADAS 技术要求更高,视觉计算量更大,因此目前将其商用化的企业寥寥无几,而斯巴鲁就是将双目ADAS系统大规模用于量产车的少数车企之一。

在新车开启预售前夕,汽车商业评论作为中国汽车专业媒体,联线独家采访了斯巴鲁自动驾驶及高级安全业务总经理柴田英司 (Eiji Shibata) 和赛灵思汽车业务负责人、高级总监 Willard Tu,对新一代 EyeSight 系统及其背后赛灵思 SoC 的作用进行了深入了解。

斯巴鲁自动驾驶及高级安全业务总经理柴田英司

柴田英司告诉汽车商业评论:“我们最首先的目的,是通过高级辅助驾驶系统,逐渐消除死亡事故,再进一步将事故率降低。为此,必须增加各种技术和各种零件,系统价格也会变高。

但这样事故并没办法消除,因为买得起的人越来越少,这就与我们希望降低事故的目的相背离。因此,我们认为怎样能在一般用户买得起的车上,搭载更先进的避免冲撞的安全系统,将成为现实意义上的关键点。

我们的 Eyesight 系统不用安装激光雷达、单目摄像头,只需安装立体摄像头就能全方位地进行观测,所以能够以更高精度、更低的价格完成系统的构建,这样我们就能将该系统搭载在所有车辆上,从而为所有的用户提供安全特性。”

赛灵思车规级芯片平台 Zynq® UltraScale+™ MPSoC

他表示,新一代 EyeSight 系统对双目立体摄像头进行了改进,利用赛灵思(Xilinx)基于 FPGA(Field Programmable Gate Array,现场可编程门阵列)的异构可扩展多处理芯片 Zynq UltraScale+™ MPSoC 系列,将立体图像处理成 3D 点云,助力斯巴鲁在超低时延下加速所有数据的处理,实现对前方物体进行更快速、更准确的识别。

同时,还可以借助可编程芯片特有的灵活性通过软件反复编程硬件,不断地适应、改进、更新系统的设计,以最快速度、最低成本融入最新的 AI 功能,并满足不断变化的场景需求。

新的 EyeSight 系统通过升级立体摄像头拓宽了整个前方的视角,在提升数据处理能力的同时,通过追加四角雷达来达到全方位感应,进行协同控制。

除了自动紧急制动、自适应巡航控制和车道保持辅助等功能,新系统还可识别相邻车道是否有车存在、是否从相邻车道有车在靠近,增强了在十字路口避免发生事故的能力。当驾驶员分神时,新的 EyeSight 可以提醒驾驶员,避免出现事故。

在高速公路上面,车辆搭载新的 EyeSight 系统之后,基于弯道预测、自动减速的主动变道辅助功能,通过高精度地检测临近车辆,随时对路面的情况进行检测反馈,并且辅助纠正驾驶员的驾驶行为。

为何斯巴鲁会选择赛灵思

柴田英司在接受采访时称:“我们的目标是只凭借一定质量的图像数据就能进行处理,以更大视野捕捉到远处的物体,因此赛灵思这种高效能器件的构思是实现我们目标的最佳选择。

在前一版本上我们使用了 ASIC(Application Specific Integrated Circuit 特定用途集成电路),但是用 ASIC 时,我们始终无法做到像现在采用赛灵思车规级器件这样,可以随时使用最新程序对功能进行扩展,而且赛灵思器件在耗能方面也非常领先,是一款非常高效的车规级器件。”

赛灵思汽车业务负责人、高级总监 Willard Tu 向汽车商业评论介绍了 EyeSight 系统上所用赛灵思车规级 Zynq UltraScale+™ MPSoC 的性能。

赛灵思汽车业务负责人、高级总监 Willard Tu

基于赛灵思16纳米技术,Zynq UltraScale+™ MPSoC 同时拥有强大的流水线并行和数据并行运算能力,既可以用于 AI 边缘计算,也可以用于域控制器,无论是在车的挡风玻璃还是在汽车其他部件上,都可以满足 ADAS 的要求。

它不仅能提供适合的性能功耗比,还可提供至关重要的功能安全性和保密性功能,因而非常适用于各种汽车客户的平台。另外,除了器件本身的先进性、可扩展性,赛灵思产品的高质量和可靠性也是有口皆碑的。

赛灵思于 1984 年发明了世界首款 FPGA,也是目前 FPGA 市场的 No.1,年收入超过 30 亿美元。其产品广泛应用于通信、航空航天、汽车、医疗、工业控制等领域。

赛灵思进入汽车行业已经有超过15年的历史。迄今为止,赛灵思在汽车领域的全球合作伙伴超过200家,涵盖了全球所有主流的 Tier 1、整车制造商以及各种初创型企业。

截至目前,全球汽车系统中应用了超过1.9亿片赛灵思车规级器件,其中超过7500万片专门用于量产型 ADAS。

赛灵思汽车业务稳步增长

赛灵思在 ADAS 领域参与了很多行业标准的制定,其产品也是完全符合车规极的严酷要求,比如用在斯巴鲁 EyeSight 上的 Zynq UltraScale+™ MPSoC 系列就已通过 Exida 认证,符合 ISO 26262 ASIL-C 级的安全规范。产品可靠的质量,也是斯巴鲁选择赛灵思车规级器件的一大理由。

FPGA 在汽车行业的应用

之所以新一代 EyeSight 系统具备如此强大的功能,很大程度上要归功于赛灵思具备适应技术与灵活应变的 FPGA 器件。

作为异构计算器界非常复杂的 SoC,FPGA 的门电路与存储器之间的连线,可以由用户通过烧入的配置文件来定义,而且这种烧入不是一次性的 。因此,它既解决了定制电路灵活性的不足,又克服了原有可编程器件门电路数有限的缺点。

目前汽车芯片分为主控芯片(Master control chip)和功能芯片((Micro Control Unit),而主控芯片主要包括 GPU、FPGA 和 ASIC 。

GPU(Graphics Processing Unit,图形处理器)是通用型芯片,提供了多核并行计算的基础结构,且核心数非常多,可以支撑大量数据的并行计算,拥有更高的浮点运算能力,更适合自动驾驶深度学习的运算。

但 GPU 硬件结构固定,不具备可编程性,运行深度学习算法能效低于 FPGA,而且管理控制能力弱,功耗高。

ASIC 根据产品的需求进行特定设计和制造的集成电路,能够在特定功能上进行强化,具有更高的处理速度和更低的能耗。

但目前研发成本(开模成本)高昂,开发周期和验证周期长,对于安全性能要求不断变化的汽车市场,固化的 ASIC 并不能满足这些要求,并且如果产品规模不够大,单品成本也下不来。

FPGA 本质上是无指令、无需共享内存的体系结构,同时实现流水线并行和数据并行,可以达到比 GPU 更高的并发处理速度。作为半定制的硬件,它支持通过编程可定义单元配置和链接架构,具有较强的灵活性,可以适应相对更多种的算法。

不过,FPGA 行业技术壁垒相当高,一个 FPGA 公司相当于半个 IC 设计公司+半个软件公司,硬件版图及布线复杂,设计难度较大,软硬协同再提研发难度,在生态上开发者人数较少,有能力进入 FPGA 领域的企业并不多。

也正因为该领域企业不多,相对 GPU、ASIC 等产品,FPGA 芯片利润率相当高。中低密度百万门级、千万门级 FPGA 芯片研发企业利润率接近50%,高密度亿门级 FPGA 芯片研发企业利润率近70%。

根据 《恒州博智信息咨询 |半导体集成电路芯片市场分析报告》的数据,2019 年全球集成电路市场规模达到4376亿美元;根据 Gartner 的数据,2019 年全球 FPGA 市场规模为69亿美元。

虽然FPGA市场规模目前不算大,但随着 FPGA 器件被广泛用作5G 基站、汽车终端设备、边缘计算设备的核心器件,下游市场确定性增量需求增加,市场规模将持续扩大,前景看好。

全球 FPGA 市场早期由美国两大巨头(赛灵思、Altera)高度垄断,最近经市场一系列并购行为及初创团队影响,国际市场第一梯队阵营扩容,包括赛灵思、英特尔、Lattice、Microsemi、Achronix、Flexlogic、Quicklogic 等。

中国较知名的 FPGA 研发企业有紫光同创、高云半导体、安路科技、遨格芯微、复旦微电子、智多晶、京微齐力、联捷科技、深维科技和傲睿智存等,目前技术与国际先进水平差距较远。

在全球市场,赛灵思和英特尔(收购了第二大 FPGA 公司 Altera)合计占市场份额近 90%,其中赛灵思的市场份额56%,英特尔31%。中国 FPGA 市场中,赛灵思份额超过50%,英特尔份额接近30%。由于技术、资金、人才上的壁垒及 FPGA 量产带来的规模效益,行业领导者地位较为稳定。

据 Willard Tu 介绍,FPGA 通过并行计算和同步处理,不但可以降低延迟,还可以使时钟频率更慢。更低的延迟对于需要实时进行做出反应的 ADAS 和自动驾驶至关重要;而降低时钟频率能带来显著的功耗下降,低功耗也意味着更少的热负荷,对于安装在挡风玻璃、车顶内衬和其它高环境温度区域的器件更为有利。

因为 ADAS 和自动驾驶需要很多的创新和非常复杂的编程,而且也需要很多的时间做检测和验证,所以芯片的适应性非常重要。

赛灵思的FPGA器件大多采用引脚兼容的封装,开发人员可以根据不同需求设计硬件,以承载低、中、高版本的 ADAS 功能包,并根据需要通过选择所需的最小密度器件来缩放成本。

FPGA 器件还可以用相同的器件来服务多代的产品。而如果用 ASIC,换代产品需要开发全新的芯片,对于客户来说是一个很大的隐性成本。

赛灵思 FPGA 还具备独特的动态功能交换(DFX,Dynamic Function eXchange)功能,允许开发人员创建独特的差异化处理解决方案,用一个 SoC 来提供两个完全相互排斥的功能。

比如在斯巴鲁汽车上,当处于高速公路驾驶模式时,赛灵思的车规级器件可以作为前置摄像头设计,但是当处于低速模式时,斯巴鲁可以将相同的器件重新编程,实现自动泊车/360°环视影像功能。

Willard Tu 认为,大部分对于 FPGA 劣势的描述来自对成本的历史成见,有些客户可能会认为 FPGA 非常贵,不适用于量产。其实从90 nm 节点开始,赛灵思器件在汽车行业就已经极具成本效益,否则就不会有超过1.9亿片赛灵思车规级器件在汽车行业获得应用。

他表示:“如果赛灵思提供的这些功能没有很好的性价比的话,斯巴鲁肯定也不会选择我们的器件来开发他们的 EyeSight 系统。”

在 ADAS 和自动驾驶领域,赛灵思的车规级器件目前不仅用于前置摄像头,还用于电子后视镜、激光雷达、长距离雷达、全景环视后视摄像头、车舱内监控摄像头及域控制器中。

对于未来的展望

对于在 ADAS 领域的未来,Willard Tu 充满了信心:

赛灵思在前置摄像头上面目前市场排名是第二位,预计前置摄像头的功能在2020-2023年会成为一个标准的配置。而驾驶员监测系统和自动紧急制动,也是赛灵思关注的两个热门配置。

对于自动驾驶,他认为赛灵思在激光雷达方面做得非常好,几乎占到了100%的市场份额。另外,他也十分看好使用无线电波的4D 成像雷达,其性能与激光雷达非常相似,分辨率低一些,也能提供点云,提供高度、速度、距离、角度等数据。

对于未来的研发,Willard Tu 表示,赛灵思已经开始意识到,从16纳米到7纳米再到5纳米,制程的改进不一定是优化性能的最佳路径。因此,赛灵思在7纳米的节点上,开发了一个全新的 AI 引擎,通过深度神经网络提升处理能力。

赛灵思的另一个技术方向是改进封装技术,希望能够提高散热能力,以便将很多的处理器聚集在一起。不过,这种新技术不需要很多主动热处理能力,因为这有可能会提高成本。

而对于斯巴鲁 EyeSight 系统未来的发展,柴田英司表示:

2020年,斯巴鲁将导入新一代 EyeSight 高级辅助驾驶系统;我们正在调查各种各样的技术在各个城市的成本将是多少、性能将到达什么程度、对降低事故的效果有多少等。

到2025年,我们搭载的将是性价比最高的技术、传感器。

不管怎样,如何能实现驾驶员、行人等所有交通参与者的安全,是我们最重要的事。再将来,或许可能实现自动驾驶,但我认为首先实现驾驶员辅助技术的演进是最优先级的。

推荐阅读