分享嘉宾 | 黄骏杰；转载自深蓝 AI
原文：精髓文稿|视觉主动驾驶最新技术路线浅析
01 背景
主动驾驶是逐步从预言阶段向工业化阶段的一个过渡，具体表现可分为 4 点。首先，在大数据的背景下，数据集的规模在疾速扩张导致以前在小规模数据集上开发原型的细节会被大量过滤掉，能在大规模数据上无效的工作才会被留下来。其次是关注点的切换，从单目切换到多目场景，导致复杂度晋升。而后是偏向于对利用敌对的设计，如输入的空间从图像空间向 BEV 空间的转移。最初就是从之前单纯谋求精度到逐步同时思考推理速度。同时主动驾驶场景下须要疾速响应，因而对性能的要求会思考速度方面，另外就是更多的去思考如何部署到边缘设施。
还有一部分的背景是在过来 10 年里，视觉感知在深度学习的推动下疾速倒退，分类检测、宰割等支流的方向上有大量的工作以及局部相当成熟的范式。主动驾驶场景里的视觉感知在倒退的过程中，像特色编码的指标定义、感知范式和监督等方面都大量借鉴了这些支流的方向，因而在投身主动驾驶感知之前，这些支流的方向都应该去涉猎一下。
在这些背景之下，过来一年涌现了大量针对大规模数据集的三维指标检测工作，如图 1 所示(标红的为已经第一过的算法)。
图 1 三维指标检测近一年倒退
02 技术路线
2.1 Lifting
主动驾驶场景中视觉感知和支流的视觉的感知区别次要在于给定的指标定义空间不同，支流的视觉感知的指标定义在图像空间，主动驾驶场景的指标定义在 3 维空间。在输出都是图像的状况下，获取 3 维空间的后果就须要有一个 Lift 的过程，这就是主动驾驶视觉感知外围的问题。
咱们能够把解决 Lift 对象问题的办法分为输出、两头特色和输入，输出级别的一个例子就是视角变动，其原理是利用图像去推理深度信息，而后利用深度信息把图像的 RGB 值投影到三维空间，失去一个带色彩的点云，前面就沿用点云检测的相干工作。
目前比拟有前景的是特色级别的变换或特色级别的 Lift，如 DETR3D 这些都是在特色级别进行空间变动，特色级别变换的益处是能够防止反复的去提取图像级别的特色，计算量小，也能够防止输入级别的环视后果交融的问题。当然特色级别的转换也会有一些典型的问题，如通常会用到一些奇怪的 OP，导致部署的时候并不敌对。
目前特色级别的 Lift 过程比拟鲁棒的次要有基于深度和注意力机制策略，别离具备代表性的为 BEVDet 和 DETR3D。基于深度的策略是通过计算图像的每一点的深度，而后依据相机的成像模型把特色投影到 3 维空间，从而实现 Lift 的一个过程。基于注意力机制的策略是通过事后定义 3 维空间中的一个对象当做 query，通过内外参找到和三维空间中点所对应的图像特色当做 key 和 value，再通过 attention 的形式去计算失去一个 3 维空间中对象的一个特色。
以后所有的算法都基本上高度依赖于相机模型，无论是基于深度的还是基于注意力机制的，这就会导致对标定敏感以及计算过程广泛偏简单。而那些摈弃相机模型的算法往往会不足鲁棒性，所以这方面还没有齐全的成熟。
2.2 Temporal
时序 (Temporal) 的信息能够无效进步指标检测的成果。对于主动驾驶的场景来说，时序具备更深层次的意义在于指标的速度是以后场景下次要的感知指标之一。速度重点在于变动，单帧数据并不具备充沛的变动信息，因而须要去建模来提供工夫维度的一个变动信息。现有的点云时序建模办法是把多帧的点云混合在一起作为输出，这样能够失去比拟浓密的点云，使得检测更精确。另外多帧的点云含有继续的信息，前面在网络训练过程中通过 BP 学会如何提取这个继续的信息，以解决速度预计这种须要继续信息的工作。
视觉感知的时序建模形式次要来源于 BEVDet4D 和 BEVFormer。BEVDet4D 通过简略的交融两帧的一个特色，为后续的网络提供一个继续的信息。另外一个门路是基于 attention 的, 同时提供单时帧和逆时针的特色作为 query 的一个对象，而后通过 attention 的形式同时去查问这两个特色，从而去提取时序的信息。
2.3 Depth
主动驾驶视觉感知相比于雷达感知的一个最大的毛病就是深度预计的准确度。论文《probabilistic and geometric depth: detecting objects in perspective》通过替换 GT 的办法来钻研不同因素对体现分的影响水平，剖析失去的次要论断是准确的深度预计能够带来显著的性能晋升。
但深度预计是以后视觉感知的一个次要的瓶颈，目前改良的思路次要就有两种，一种是在 PGD 外面利用几何束缚对预测的深度图进行 refine。另一种是利用激光雷达作为监督去取得一个鲁邦性更好的深度预计。
目前流程上优胜的计划 BEVDepth，是在训练的过程中利用激光雷达所提供的深度信息去对变动过程中的深度预计进行监督，和感知的主工作同时进行。
2.4 Muti-modality/Multi-Task
多任务是心愿在一个对立的框架下来实现多种的感知工作，通过这个计算可能达到节俭资源或者减速计算推理的目标。但目前的办法基本上都是在失去一个对立的特色之后，通过不同的档次去解决特色来简略的实现多任务，广泛都存在工作合并之后，性能降落的问题。多模态也差不多广泛都是在整个判断外面找到一个能够间接交融的模式，而后实现一个简略的交融。
03 BEVDet 系列
3.1 BEVDet
BEVDet 网络如图 2 所示，特征提取过程次要是提取的图像空间的一个特色转化成一个 BEV 空间的特色，而后进一步的去编码这个特色，失去一个预测可用的特色，最初用浓密预测的形式进行指标预测。
图 2 BEVDet 网络结构
视角变动模块过程分两步走，首先假如要变换的特色的大小是 VxCxHxW，而后在图像空间以分类的形式去预测一个深度，对于每一个像素失去一个 D 维的深度分布，那么就能够利用这两个将不同深度的特色进行渲染，失去一个视觉特色，而后利用相机模型将它投影到 3 维空间中，对 3 维空间进行体素化，其次进行 splat 过程失去 BEV 特色。
视角变动模块的一个十分重要特点是在数据增缓中起到了一个互相隔离的作用。具体而言就是通过相机的内参，能够投影到 3 维空间中失去相机坐标系上的一个点，当数据增广的作用在图像空间上点的时候，为了维持在这个相机坐标系上点的坐标不变，则须要做一个逆变换，即在相机坐标系下面的一个坐标在增广前和增广后是不变的，这就起到了一个互相隔离的成果。互相隔离的毛病是图像空间的增广并不会对 BEV 空间的学习起到正则化的作用，长处能够进步 BEV 空间学习的鲁棒性。
咱们从试验上能够失去几个比拟重要的论断。首先，在应用了 BEV 空间的编码器之后，算法更容易陷入过拟合的状况。另外一个论断是 BEV 空间的增广会比图像空间的增广对性能的影响更大。
还有就是 BEV 空间的指标尺寸和类别高度的相干，同时指标之间的重合长度很小会导致一些问题，察看到在图像空间外面设计的非极大值克制办法并非是最优的。同时减速的策略的外围是利用并行的计算形式去给不同小的计算工作去调配独立的线程去达到并行计算减速的目标，长处在于没有额定的显存开销。
3.2 BEVDet4D
BEVDet4D 网络结构如图 3 所示。该网络的次要关注点在于怎么把逆时帧的特色利用到以后帧，咱们抉择输出的特色作为一个保留的对象，但没有抉择这个图像特色，因为指标的变量都是定义在 BEV 空间，而图像的特色并不适用于间接的时序建模。同时也没有抉择 BEV Encoder 前面的特色去作为继续交融的特色，因为咱们须要在 BEV Encoder 的中进行一个继续特色的提取。
思考到视角变动模块输入的特色比拟稠密，因而在视角变换后接了一个额定的 BEV Encoder 去提取初步 BEV 特色，再去进行一个时序的建模。在时序交融的时候，咱们把逆时帧的特色通过对齐之后和以后针进行简略的拼接就实现这个时序的一个交融，其实咱们在这里就是把这个时序特色的提取的工作就交给了前面的 BEV 去做。
图 3 BEVDet4D 网络结构
怎么去设计与网络结构相匹配的指标变量？在这之前，咱们首先要理解一下网络的一些要害的个性，首先是特色的感触野，因为网络是通过 BP 学习，特色的感触野是由输入空间所决定的。
主动驾驶的感知算法的输入空间个别会定义在自车四周的肯定范畴内的空间，特色图就能够视为该间断空间上一个均匀分布，角点对齐的一个离散采样。因为在特色图的感触野是定义在自车四周的肯定范畴内就会随着自车的静止而产生了变动，因而在两个不同工夫节点，特色图的感触野在世界坐标系下面是有肯定的偏移的。
若间接把两个特色进行一个拼接，动态指标在两个特色图中的地位是不同的，动静指标在这两个特色途图中的偏移量等于自测的偏移量加上动静指标在世界坐标系中的偏移量。依据模式统一的一个准则，既然拼接的特色外面指标的偏移量是跟自车相干的，因而在设定网络的学习指标的时候，应该是指标在这两张特色图中的地位的变动量。
依据上面的公式去进行推导，能够失去一个学习的指标是跟自测的静止是不相干的，只跟指标在世界坐标系上面的一个静止相干。
咱们从上述推导失去的学习指标和以后支流办法的学习指标区别就在于去掉了工夫成分，而速度等于位移 / 工夫，但这两个特色中并没有提供工夫相干的线索，所以如果学习这个速度的指标，须要网络去精确的预计出这个工夫的成分，这就减少了一个学习的难度。在理论中，咱们能够把训练过程中两帧的工夫设定为恒定值，一个恒定的工夫距离网络是能够通过学 BP 学习到的。
在时域的增广当中，咱们在训练过程中随机的采纳不同的工夫距离，在不同的工夫距离下，指标在两张这张图中的偏移量不同，学习的指标偏移量也不同，以此达到模型对不同偏移量的鲁邦成果。同时，模型对于指标的偏移量是有肯定的灵敏度的，即如果距离太小，两帧之间变动太小就很难被感知到。因而在测试的时候抉择一个适合的工夫距离，能够无效进步模型的一个泛化的性能。
3.3 BEVDepth
这篇是利用雷达去失去一个鲁棒性的深度预计，如图 4 所示。它通过利用点云去对变动模块中的深度分布去进行监督，这个监督是稠密的，这个稠密是相比于指标所提供的深度监督来说是浓密的，然而也没有达到每个像素都有一个精确的深度监督，也是绝对稠密。不过能够提供更多的样本，进步这个深度预计的一个泛化的性能。
图 4 BEVDepth 网络结构
这篇工作另外一个方面是把特色和深度分了两个分支进行预计，并且在深度预计的分支外面减少额定的残差网络以进步深度预计分支的感触野。钻研人员认为这个相机内外参的精度问题会导致 context 和深度是不对齐的，当这个深度预计的网络的感触不够大的时候，会有肯定的精度损失。
最初就是将这个相机的内参作为一个深度预计的分支输出，应用了一个相似于 NSE 的形式，对输出特色的通道进行一个通道层面的调整，这能够无效进步网络对于不同的相机内参的鲁棒性。
04 局限性与相干的探讨
首先，主动驾驶的视觉感知最终服务于部署，而在部署的时候会波及到数据的问题和模型的问题。数据的问题波及到一个多样性的问题和数据标注，因为人工标注是十分低廉的，因而看当前能不能够实现自动化的标注。
目前来说对于动静指标的标注还是前所未有的，对于动态指标能够通过 3 维重建去失去一个偏自动化标注或者半自动化的标注。另外是模型方面，当初的模型设计对标定是一个不鲁棒的或说是对标定是敏感的，那么怎么样去让模型对标定鲁棒或者说不依赖于标定这也是一个值得思考的问题。
另外就是网络结构减速的问题，能不能用通用的 OP 去实现视角的变动且这个问题会影响到网络减速的过程。
精彩举荐
- 来呀！用 Python 能实现主动驾驶！
- 下载 |《2022 高精度地图利用白皮书》
- 将来主动驾驶必须解决哪些感知问题
- 视觉 3D 指标检测，从视觉几何到 BEV 检测
- 两万字 | 视觉 SLAM 钻研综述与将来趋势探讨
- 基于 SLAM 的机器人自主定位导航全流程