基于赛灵思的传感器融合方案

作者: Luke Liu,文章来源: Comtech FPGA微信公众号

目前,汽车已经成为人们日常出行使用最多的交通工具。为了保证司乘人员和行人的安全,辅助驾驶和自动驾驶越来越成为汽车的标准配置。从L1级别的ADAS应用FCW(前向碰撞预警)、LDW(车道偏离预警)、L2级别的 AEB(自动紧急制动)、LKA(车道保持辅助)、到更高级别的ACC(自适应巡航)、AVP(代客泊车系统)等等, 辅助驾驶/自动驾驶在汽车电子系统中有着越来越大比例的应用。

为了实现性能更强、稳定性更高和准确性更高的辅助驾驶、自动驾驶,汽车需要获知本身的位置信息和周边的环境信息,不同种类的传感器,如视觉传感器、激光传感器(LiDAR)、毫米波传感器(RADAR)等,在不同的工作环境下各有优缺点,而融合来自多个传感器数据的过程。可以提供更高的可靠性、冗余性以及最终的安全性。

赛灵思作为可编程器件的领导品牌,在汽车电子系统,尤其在传感器融合方面提供了全面的方案。且待本文向您徐徐道来:

1. 融合! 融合起来!

随着辅助驾驶/自动驾驶的等级逐步提高,对传感器种类和数量的要求会逐步增加。

L1级别需求(如FCW(前向碰撞预警)、LDW(车道偏离预警)) 主要由单个传感器,如单个视觉摄像头、单个毫米波或摄像头加毫米波的组合来实现相关预警功能:

L2级别需求(AEB(自动紧急制动)、LKA(车道保持辅助)) ,因为需要对车身部分(如底盘的刹车控制系统) 进行直接控制,需要两个或以上不同的传感器来互相校验,确保在各种环境下不错过必须处理的信息,并加强冗余度,一般会有多个视觉摄像头(比如由4个摄像头组成360环视系统,加上一个单独用于前向预警的摄像头,共计5个摄像头的系统)、一个或若干毫米波及其他传感器完成辅助驾驶功能:

对于L3来讲,由于高级别半自动驾驶(如代客泊车AVP)需要对地图进行构建,并进行基于地图的路径规划,通常需要引入激光雷达(为解决盲区,还需要布置高低位置的多个激光雷达),视觉、毫米波和激光雷达的数量总数基本会超过10个:

随着高级辅助驾驶需要更多传感器种类与数量,如何将这些信号归一化为主控SoC需要的数据,也就是传感器数据归一化(normalization)的需求如何实现呢?这就是我们提及的传感器融合的需求了:

那么传感器数据数据归一化,具体来说要如何进行呢?我们由下图来解释一下:

将多个传感器数据的负载(Payload), 统一打包为包含报文种类、时间戳(Time Stamp)、其他包头信息和负载的数据包,传送至主控芯片,就是传感器融合的信息了。

我们来总结一下传感器融合的作用:

A 获取车辆环境信息;

B 获得更精确的结果;

--均衡不同传感器的权重

--针对传感器失效的鲁棒性

--各传感器取长补短

C 主要任务

--定位

--地图绘制

--路径规划

2. 当融合时且融合

当我们意识到传感器融合的优势时,就会发现FPGA在传感器融合上的优势:

--FPGA的IO Pin可以灵活配置,适合不同的传感器接口

--FPGA的逻辑可以灵活设计,针对不同型号的传感器做出针对性的设计。

而传感器融合的基石,就是如何进行数据同步!

如果不进行同步的话,假设有一个目标高速经过车辆前部,如果各传感器不同步,不同的传感器会给出不同的目标方位和相对距离信息,会令处理系统很难做出正确响应:

但如果进行了同步,所有观感器信息反馈的信息都是基于同一时间点,针对同一个目标反馈的目标速度、相对距离、角度等信息也不会产生混淆:

针对上述的同步,具体方式如下:

1. 硬件同步 / Hardware synchronization

--使用同步触发(trigger acquisition, FPGA的强项之一哦!)

--所有传感器使用同一个硬件给出的时钟源(FPGA的IO资源非常适合做配置!).

2. 软件同步 / Software synchronization

--使用时间戳(timestamp ) 同步

--每个传感器自行加入校正后的时间戳

3. 空间同步 / Spatial synchronization

将各传感器坐标系统归一化为统一系统(对坐标系转换的硬件加速也是FPGA的强项!)

4. 时空同步 / Spatiotemporal synchronization

--以上所有同步的综合

下面也给出一些使用FPGA进行同步的技术技巧:

1. 统一的的坐标系与时钟;

2. 使用GPS提供时间戳的时钟同步与校准;

3. 一般使用激光雷达提供Trigger , 作为数据对齐基础;

--这是自动驾驶技术的历史传承,基于ROS / ROS2 的 Autoware, Baidu的Apollo及其他开源版本都是如此。

4. 传感器相互之间进行校正 ( Sensorcalibration );

同步后数据,如何通过网络在车内网络传输,也是传感器融合的重要功能,而TSN (时钟同步网络) 更是会助力融合更好地进行!

基于802.1 AS的TSN我们在之前的文章中已经有介绍,如有您有在赛灵思器件上实现TSN的需求,也请联系科通,我们为您提供咨询和支持。

3. 如何十分安全地融合?

既然传感器融合主要用于汽车应用,功能安全就变得非常重要!针对功能安全的需求,作为可编程器件领先品牌,赛灵思针对各行业的安全需求,提供了由原厂或第三方提供的服务:

其中和汽车相关的 IEC-61508和 ISO-26262认证,赛灵思都提供原厂直接支持的文档、工具和服务。

当然还有经过车规验证的各型号SOC/FPGA、IP、工具链和参考设计开发板,如果您有需求,都欢迎联系科通哦!

4. 有科通,融合更方便
针对车规需求,我们集成科通代理的相关产线,为您提供整体方案。下图也只是其中一部分哦!

更多信息,欢迎联系:

lukeliu@comtech.com.cn

simonyang@comtech.com.cn

charlesxu@comtech.com.cn

最新文章