编译 | CV 君
报道 | 我爱计算机视觉（微信 id:aicvml）
介绍一篇新出的论文 CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection，旨在应用低成本的雷达（redar）替换主动驾驶中的激光雷达，并达到高精度 3D 指标检测的办法。
该文作者信息：
作者来自田纳西大学诺克斯维尔分校。
激光雷达应用发射的激光测距进行环境感知，而雷达应用无线电发射进行探测。
3D 指标检测在主动驾驶畛域利用宽泛，而激光雷达（Lidar）和摄像头数据的交融罕用来进行高精度的 3D 指标检测，但其仍有一些毛病。比方对远处指标检测不准确、对天气敏感（雨雪大雾天气等），而且不能间接失去指标的速度。
而低成本的雷达则绝对具备人造劣势：无惧顽劣天气，长远距离检测能力强（200M 也 OK），且人造还有指标速度信息。
但雷达数据更加稠密，不能间接将激光雷达的办法间接套用，数据在输出层和后处理局部的交融不能获得很好的成果。
该文将摄像头采集的图像数据和雷达数据进行两头特色层的交融，以达到准确的 3D 指标检测。
该文算法流程图：
CenterFusion 网络架构
算法流程：
1. 首先应用 CenterNet 算法进利用摄像头数据预测指标的中心点，并回归失去指标的 3D 坐标、深度、旋转等信息
2. 而后作者将雷达检测到的指标数据和下面检测到的指标中心点进行关联，作者了视锥的办法
3. 将关联后的指标的特色和雷达数据检测到的深度和速度信息组成的特色图并联，在进行 3D 指标深度、旋转、速度和属性的回归。
其中关键步骤是 CenterNet 检测后果与雷达点指标的关联，在三维空间视锥法找到对应指标的示意图：
Frustum association 视锥法关联
关联后果，该文办法为下图中最小面的后果：
解决高度信息不精确的问题，引入了雷达点云预处理步骤，pillar expansion，将每个雷达点扩大为一个固定大小的柱子
作者在 nuScenes 数据集上的 3D 指标检测性能比拟：
可见该文的交融办法获得了显著的精度晋升，相比以前的 SOTA 精度晋升 12%。
nuScenes 数据集上进行 3D 指标检测的每类性能比拟：
检测后果示例：
摄像头和 BEV（鸟瞰图）中的 3D 指标检测后果
目前，作者已将代码开源：
- 论文链接：https://arxiv.org/pdf/2011.04…
- 我的项目链接：https://github.com/mrnabati/C…
欢送参考~
END