赛灵思@CVPR:学术与实践“双引擎”发展

本届 CVPR 上,来自北京的赛灵思 AI 研发团队的论文《RankDetNet:深入研究目标检测中的排序约束》成功入选。同时,在 CVPR 期间的自动驾驶研讨会“ Waymo 开放数据集挑战赛”上,赛灵思北京 AI 研发团队又获得“实时 3D 检测”第三名。凭借连续两年论文入选 CVPR 这一顶级学术会议,以及挑战赛 Top 3 的出色表现,赛灵思 AI 研发团队正在理论与实践“双引擎”发展的道路上飞速前进。

研究论文连续第二年获认可

2020年 CVPR 上,赛灵思 AI 研发团队的论文《用于语义分割的双重超分辨率学习》成功入选。今年,该团队的另一篇研究论文《RankDetNet:深入研究目标检测中的排序约束》再次被 CVPR 所接收。针对今年入选的论文,我们与论文第一作者、赛灵思资深算法专家刘吉进行了深度交流。

赛灵思资深算法专家刘吉

请介绍一下论文的主要内容?

图: RankDetNet 架构

目前的检测方法中依然存在许多问题,如分类子任务中,候选框之间往往是独立优化的,忽略了候选框之间的联系;分类子任务与回归子任务亦不一致。

针对这些问题,我们提出了一种基于排序的优化方法。我们提出三种排序损失,即全局排序损失(global ranking loss)、类别排序损失(class-specific ranking loss)和 IoU 导引排序损失(IoU-guided ranking loss)。三种排序损失发挥各自不同作用,最终实现回归质量高的框分类得分也高,从而在经过 NMS 后处理时,能保留高质量的回归框。

大量实验证明,该方法能够方便地集成到 anchor-based,anchor-free 的 2D 检测方法(RetinaNet,FCOS-ATSS)以及3D 检测方法(SA-SSD)中,并且在不同的 benchmark(COCO, KITTI)均能带来检测性能提升。例如,在RetinaNet-ResNet50 应用该方法,精度在COCO 2017 validation 数据集上能从35.4% AP 提高到37.8% AP,实现2.4% AP 的提升。

图: RankDetNet 2D/3D 检测结果

这种方法有什么独特价值?

基于 pair-wise 的排序方法提出的三种排序优化策略刚好可以解决当前检测方法中存在的问题,同时相对list-wise 的方法更容易优化;

该方法很容易集成到各种检测方法中,且不会改变原方法的推理流程,即可令这些方法得到稳定提升。加之该方法在进行推理的过程中不会产生额外开销,使之非常适合于工业应用。

点击获取完整研究论文了解赛灵思如何解析目标检测中的排序约束:https://app.ma.scrmtech.com/svip/sapIndex/SapSourceData?pf_uid=10980_146...

Waymo 开放数据集挑战赛斩获季军

在本届 CVPR 2021 自动驾驶研讨会(WAD,Workshop on Autonomous Driving)上,赛灵思高级算法工程师刘涵带领的团队在实时 3D 目标检测挑战赛中斩获第三名,成为前三名中唯一的中国团队。针对这一挑战赛,刘涵进行了全面的分享。

赛灵思高级算法工程师刘涵

什么是 CVPR 自动驾驶研讨会?

CVPR 自动驾驶研讨会包含论文演讲、受邀嘉宾演讲和技术基准挑战赛,旨在汇集来自学术界和工业界的研究人员与工程师,共同探讨自动驾驶感知方面的最新进展和未来方向。

众所周知,激光雷达具备高度准确性和可靠性。在 L4/5 自动驾驶系统中,激光雷达将成为必不可少的组成部分。未来几年内,激光雷达成本将大幅降低 ,围绕自动驾驶的 3D 点云检测方法也越发受到关注。尽管如此,绝大多数方法仍只关注于数据集上的指标而往往由于操作复杂,运行速度慢等原因难以实际部署使用。本届实时 3D 检测挑战赛将算法的实时性能考虑在内,提出了算法需要在 Nvidia V100 GPU 上每帧检测速度快于 70 毫秒的硬性指标。

请介绍一下此次获奖的项目

我们依靠多年来端侧部署的经验,使用 PointPillars 为点云主干网络加快提取点云特征,同时采用 Centerpoint 的无锚框的检测头设计提升精度。

为了保证算法的实时性,引入了结构重新参数化技术、Quality Focal Loss 等无推断时成本的方法来优化检测性能;同时在二阶段检测头融合原始点云特征来提升检测目标的特征表达,最终在 68.4ms 每帧的检测速度下达到了 70.46 mAPH/L2 的准确度,取得了 3D 点云检测第三名的成绩。

图: 3D 检测结果

对自动驾驶发展有哪些推动作用?

随着未来几年搭载激光雷达方案的自动辅助驾驶成为主流,怎样将 3D 点云检测算法从研究领域部署落地,在满足车载系统功耗以及算法准确性的前提下达到实时检测的效果,成为了各车厂需要面临的难题。

Vitis AI 算法团队凭借在算法落地中的长期技术沉淀,将更易端侧部署的算法作为比赛方案,在高精度的前提下贴合实际应用场景。后续可以结合 Vitis AI 开发组件,部署到 Xilinx 自适应计算加速平台上,作为生产环境使用的自动辅助驾驶 3D 点云检测解决方案。

点击获取完整技术报告了解赛灵思Vitis AI3D点云检测算法落地方案:https://app.ma.scrmtech.com/svip/sapIndex/SapSourceData?pf_uid=10980_146...

结语

赛灵思 AI 团队服务于全球数据中心、自动驾驶、智能工业以及智慧医疗等近百家头部企业,打造了 Vitis AI 全栈式解决方案,覆盖 AI 处理器 IP 、编译器和软件工具链,通过服务客户落地项目,积累了基于赛灵思 FPGA 平台的百余重要算法模型及参考方案。与此同时,团队始终坚持前沿研究和客户需求双驱动,在 AI 算法方向保持原创动能,在面向自动驾驶场景的目标检测、分割,尤其 3D 目标感知和多传感器融合研发中投入大量资源,进而更好提升产品内核竞争力,给客户创造更出色的智能方案。——赛灵思人工智能研发副总裁 单羿,赛灵思人工智能研发总监 田露

CVPR 简介

CVPR(国际计算机视觉与模式识别会议)是 IEEE 举办的一年一度的学术性会议,与 ICCV 、ECCV 并称计算机视觉领域三大世界顶级会议。CVPR 覆盖计算机视觉和模式识别相关的广泛主题,包括对象识别、图像分割、动态预测、3D 重建和深度学习等。

CVPR 论文的接收标准相当严格。论文评审团会从论文创新性、实验效果、表述等维度进行评判,整体接收率通常不超过30%,约每年300 篇。

最新文章