原文：无人驾驶零碎技术架构梳理：从感知、布局到管制
无人驾驶零碎技术架构梳理：从感知、布局到管制
无人驾驶零碎的外围能够概述为三个局部：感知（Perception），布局（Planning）和管制（Control），这些局部的交互以及其与车辆硬件、其余车辆的交互能够用下图示意：
感知是指无人驾驶零碎从环境中收集信息并从中提取相干常识的能力。其中，环境感知（Environmental Perception）特指对于环境的场景理解能力，例如障碍物的地位，路线标记 / 标记的检测，行人车辆的检测等数据的语义分类。一般来说，定位（Localization）也是感知的一部分，定位是无人车确定其绝对于环境的地位的能力。布局是无人车为了某一指标而作出一些有目的性的决策的过程，对于无人驾驶车辆而言，这个指标通常是指从出发地达到目的地，同时防止障碍物，并且一直优化驾驶轨迹和行为以保障乘客的平安舒服。布局层通常又被细分为工作布局（Mission Planning），行为布局（Behavioral Planning）和动作布局（Motion Planning）三层。最初，管制则是无人车精准地执行布局好的动作的能力，这些动作来源于更高的层。
1. 环境感知
为了确保无人车对环境的了解和把握，无人驾驶零碎的环境感知局部通常须要获取周围环境的大量信息，具体来说包含：障碍物的地位，速度以及可能的行为，可行驶的区域，交通规则等等。无人车通常是通过交融激光雷达（Lidar），相机（Camera），毫米波雷达（Millimeter Wave Radar）等多种传感器的数据来获取这些信息，本节咱们简要地理解一下激光雷达和相机在无人车感知中的利用。激光雷达是一类应用激光进行探测和测距的设施，它可能每秒钟向环境发送数百万光脉冲，它的外部是一种旋转的构造，这使得激光雷达可能实时的建设起周围环境的 3 维地图。通常来说，激光雷达以 10Hz 左右的速度对周围环境进行旋转扫描，其扫描一次的后果为密集的点形成的 3 维图，每个点具备（x,y,z）信息，这个图被称为点云图（Point Cloud Graph），如下图所示，是应用 Velodyne VLP-32c 激光雷达建设的一个点云地图：
激光雷达因其可靠性目前仍是无人驾驶零碎中最重要的传感器，然而，在事实应用中，激光雷达并不是完满的，往往存在点云过于稠密，甚至失落局部点的问题，对于不规则的物体外表，应用激光雷达很难分别其模式，在诸如大雨天气这类状况下，激光雷达也无奈应用。为了了解点云信息，通常来说，咱们对点云数据进行两步操作：宰割（Segmentation）和分类（Classification）。其中，宰割是为了将点云图中离散的点聚类成若干个整体，而分类则是辨别出这些整体属于哪一个类别（比如说行人，车辆以及障碍物）。宰割算法能够被分类如下几类：1）基于边的办法，例如梯度过滤等；2）基于区域的办法，这类办法应用区域特色对邻近点进行聚类，聚类的根据是应用一些指定的规范（如欧几里得间隔，外表法线等），这类办法通常是先在点云中选取若干种子点（seed points），而后应用指定的规范从这些种子点登程对邻近点进行聚类；3）参数办法，这类办法应用事后定义的模型去拟合点云，常见的办法包含随机样本一致性办法（Random Sample Consensus，RANSAC）和霍夫变换 (Hough Transform，HT)；4）基于属性的办法，首先计算每个点的属性，而后对属性相关联的点进行聚类的办法；5）基于图的办法；6）基于机器学习的办法；在实现了点云的指标宰割当前，宰割进去的指标须要被正确的分类，在这个环节，个别应用机器学习中的分类算法，如反对向量机（Support Vector Machine，SVM）对聚类的特色进行分类，最近几年因为深度学习的倒退，业界开始应用特地设计的卷积神经网络（Convolutional Neural Network，CNN）对三维的点云聚类进行分类。然而，不论是提取特色 -SVM 的办法还是原始点云 -CNN 的办法，因为激光雷达点云自身解析度低的起因，对于反射点稠密的指标（比如说行人），基于点云的分类并不牢靠，所以在实践中，咱们往往交融激光雷达和相机传感器，利用相机的高分辨率来对指标进行分类，利用 Lidar 的可靠性对障碍物检测和测距，交融两者的长处实现环境感知。在无人驾驶零碎中，咱们通常应用图像视觉来实现路线的检测和路线上指标的检测。路线的检测蕴含对道路线的检测（Lane Detection），可行驶区域的检测（Drivable Area Detection）；路线上路标的检测蕴含对其余车辆的检测（Vehicle Detection），行人检测（Pedestrian Detection），交通标志和信号的检测（Traffic Sign Detection）等所有交通参与者的检测和分类。车道线的检测波及两个方面：第一是辨认出车道线，对于蜿蜒的车道线，可能计算出其曲率，第二是确定车辆本身绝对于车道线的偏移（即无人车本身在车道线的哪个地位）。一种办法是抽取一些车道的特色，包含边缘特色（通常是求梯度，如索贝尔算子），车道线的色彩特色等，应用多项式拟合咱们认为可能是车道线的像素，而后基于多项式以及以后相机在车上挂载的地位确定后方车道线的曲率和车辆绝对于车道的偏离。可行驶区域的检测目前的一种做法是采纳深度神经网络间接对场景进行宰割，即通过训练一个逐像素分类的深度神经网络，实现对图像中可行驶区域的切割。交通参与者的检测和分类目前次要依赖于深度学习模型，罕用的模型包含两类：· 以 RCNN 为代表的基于 Region Proposal 的深度学习指标检测算法（RCNN，SPP-NET，Fast-RCNN，Faster-RCNN 等）；· 以 YOLO 为代表的基于回归办法的深度学习指标检测算法（YOLO，SSD 等）；
02 定位
在无人车感知层面，定位的重要性显而易见，无人车须要晓得本人绝对于环境的一个确切地位，这里的定位不能存在超过 10cm 的误差，试想一下，如果咱们的无人车定位误差在 30 厘米，那么这将是一辆十分危险的无人车（无论是对行人还是乘客而言），因为无人驾驶的布局和执行层并不知道它存在 30 厘米的误差，它们依然依照定位精准的前提来做出决策和管制，那么对某些状况作出的决策就是错的，从而造成事变。由此可见，无人车须要高精度的定位。目前应用最宽泛的无人车定位办法当属交融全球定位系统（Global Positioning System，GPS）和惯性导航零碎（Inertial Navigation System）定位办法，其中，GPS 的定位精度在数十米到厘米级别之间，高精度的 GPS 传感器价格也就绝对低廉。交融 GPS/IMU 的定位办法在 GPS 信号缺失，强劲的状况下无奈做到高精度定位，如公开停车场，四周均为高楼的市区等，因而只能实用于局部场景的无人驾驶工作。地图辅助类定位算法是另一类宽泛应用的无人车定位算法，同步定位与地图构建（Simultaneous Localization And Mapping，SLAM）是这类算法的代表，SLAM 的指标即构建地图的同时应用该地图进行定位，SLAM 通过利用曾经观测到的环境特色确定以后车辆的地位以及以后观测特色的地位。这是一个利用以往的先验和以后的观测来预计以后地位的过程，实际上咱们通常应用贝叶斯滤波器（Bayesian filter）来实现，具体来说包含卡尔曼滤波（Kalman Filter），扩大卡尔曼滤波（Extended Kalman Filter）以及粒子滤波（Particle Filter）。SLAM 尽管是机器人定位畛域的钻研热点，然而在理论无人车开发过程中应用 SLAM 定位却存在问题，不同于机器人，无人车的静止是长距离的，大凋谢环境的。在长距离的静止中，随着间隔的增大，SLAM 定位的偏差也会逐步增大，从而造成定位失败。在实践中，一种无效的无人车定位办法是扭转原来 SLAM 中的扫描匹配类算法，具体来说，咱们不再在定位的同时制图，而是当时应用传感器如激光雷达对区域构建点云地图，通过程序和人工的解决将一部分“语义”增加到地图中（例如车道线的具体标注，路网，红绿灯的地位，以后路段的交通规则等等），这个蕴含了语义的地图就是咱们无人驾驶车的高精度地图（HD Map）。在理论定位的时候，应用以后激光雷达的扫描和当时构建的高精度地图进行点云匹配，确定咱们的无人车在地图中的具体位置，这类办法被统称为扫描匹配办法（Scan Matching），扫描匹配办法最常见的是迭代最近点法（Iterative Closest Point，ICP），该办法基于以后扫描和指标扫描的间隔度量来实现点云配准。除此以外，正态分布变换（Normal Distributions Transform，NDT）也是进行点云配准的罕用办法，它基于点云特色直方图来实现配准。基于点云配准的定位办法也能实现 10 厘米以内的定位精度。尽管点云配准可能给出无人车绝对于地图的全局定位，然而这类办法过于依赖当时构建的高精度地图，并且在凋谢的路段下依然须要配合 GPS 定位应用，在场景绝对繁多的路段（如高速公路），应用 GPS 加点云匹配的办法相对来说老本过高。
03 布局
3.1 工作布局
无人驾驶规划系统的分层结构设计源于 2007 年举办的 DAPRA 城市挑战赛，在较量中少数参赛队都将无人车的布局模块分为三层设计：工作布局，行为布局和动作布局，其中，工作布局通常也被称为门路布局或者路由布局（Route Planning），其负责绝对顶层的门路布局，例如终点到起点的门路抉择。咱们能够把咱们以后的路线零碎解决成有向网络图（Directed Graph Network），这个有向网络图可能示意路线和路线之间的连贯状况，通行规定，路线的路宽等各种信息，其本质上就是咱们后面的定位大节中提到的高精度地图的“语义”局部，这个有向网络图被称为路网图（Route Network Graph），如下图所示：
这样的路网图中的每一个有向边都是带权重的，那么，无人车的门路布局问题，就变成了在路网图中，为了让车辆达到某个指标（通常来说是从 A 地到 B 地），基于某种办法选取最优（即损失最小）的门路的过程，那么问题就变成了一个有向图搜寻问题，传统的算法如迪科斯彻算法（Dijkstra’s Algorithm）和 A 算法（A Algorithm）次要用于计算离散图的最优门路搜寻，被用于搜寻路网图中损失最小的门路。
3.2 行为布局
行为布局有时也被称为决策制定（Decision Maker），次要的工作是依照工作布局的指标和以后的部分状况（其余的车辆和行人的地位和行为，以后的交通规则等），作出下一步无人车应该执行的决策，能够把这一层了解为车辆的副驾驶，他根据指标和以后的交通状况指挥驾驶员是跟车还是超车，是停车等行人通过还是绕过行人等等。行为布局的一种办法是应用蕴含大量动作短语的简单无限状态机（Finite State Machine，FSM）来实现，无限状态机从一个根底状态登程，将依据不同的驾驶场景跳转到不同的动作状态，将动作短语传递给上层的动作布局层，下图是一个简略的无限状态机：
如上图所示，每个状态都是对车辆动作的决策，状态和状态之间存在肯定的跳转条件，某些状态能够自循环（比方上图中的循迹状态和期待状态）。尽管是目前无人车上采纳的支流行为决策办法，无限状态机依然存在着很大的局限性：首先，要实现简单的行为决策，须要人工设计大量的状态；车辆有可能陷入无限状态机没有思考过的状态；如果无限状态机没有设计死锁爱护，车辆甚至可能陷入某种死锁。
3.3 动作布局
通过布局一系列的动作以达到某种目标（比如说躲避障碍物）的处理过程被称为动作布局。通常来说，考量动作布局算法的性能通常应用两个指标：计算效率（Computational Efficiency）和完整性（Completeness），所谓计算效率，即实现一次动作布局的解决效率，动作布局算法的计算效率在很大水平上取决于配置空间（Configuration Space），如果一个动作布局算法可能在问题有解的状况下在无限工夫内返回一个解，并且可能在无解的状况下返回无解，那么咱们称该动作布局算法是残缺的。配置空间：一个定义了机器人所有可能配置的汇合，它定义了机器人所可能静止的维度，最简略的二维离散问题，那么配置空间就是 [x, y]，无人车的配置空间能够非常复杂，这取决于所应用的静止布局算法。在引入了配置空间的概念当前，那么无人车的动作布局就变成了：在给定一个初始配置（Start Configuration），一个指标配置（Goal Configuration）以及若干的约束条件（Constraint）的状况下，在配置空间中找出一系列的动作达到指标配置，这些动作的执行后果就是将无人车从初始配置转移至指标配置，同时满足约束条件。在无人车这个利用场景中，初始配置通常是无人车的以后状态（以后的地位，速度和角速度等），指标配置则来源于动作布局的上一层——行为布局层，而约束条件则是车辆的静止限度（最大转角幅度，最大加速度等）。显然，在高维度的配置空间来动作布局的计算量是十分微小的，为了确保布局算法的完整性，咱们不得不搜寻简直所有的可能门路，这就造成了间断动作布局中的“维度劫难”问题。目前动作布局中解决该问题的核心理念是将间断空间模型转换成离散模型，具体的办法能够演绎为两类：组合布局办法（Combinatorial Planning）和基于采样的布局办法（Sampling-Based Planning）。静止布局的组合办法通过间断的配置空间找到门路，而无需借助近似值。因为这个属性，它们能够被称为准确算法。组合办法通过对布局问题建设离散示意来找到残缺的解，如在 Darpa 城市挑战赛（Darpa Urban Challenge）中，CMU 的无人车 BOSS 所应用的动作布局算法，他们首先应用门路布局器生成备选的门路和指标点（这些门路和指标点事交融动力学可达的），而后通过优化算法抉择最优的门路。另一种离散化的办法是网格合成办法（Grid Decomposition Approaches），在将配置空间网格化当前咱们通常可能应用离散图搜索算法（如 A *）找到一条优化门路。基于采样的办法因为其概率完整性而被宽泛应用，最常见的算法如 PRM（Probabilistic Roadmaps），RRT（Rapidly-Exploring Random Tree），FMT（Fast-Marching Trees），在无人车的利用中，状态采样办法须要思考两个状态的管制束缚，同时还须要一个可能无效地查问采样状态和父状态是否可达的办法。后文咱们将具体介绍 State-Lattice Planners，一种基于采样的静止布局算法。
04 管制
管制层作为无人车零碎的最底层，其工作是将咱们布局好的动作实现，所以管制模块的评估指标即为管制的精准度。控制系统外部会存在测量，控制器通过比拟车辆的测量和咱们预期的状态输入管制动作，这一过程被称为反馈管制（Feedback Control）。反馈管制被宽泛的利用于自动化管制畛域，其中最典型的反馈控制器当属 PID 控制器（Proportional-Integral-Derivative Controller），PID 控制器的管制原理是基于一个单纯的误差信号，这个误差信号由三项形成：误差的比例（Proportion），误差的积分（Integral）和误差的微分（Derivative）。PID 管制因其实现简略，性能稳固到目前依然是工业界最宽泛应用的控制器，然而作为纯反馈控制器，PID 控制器在无人车管制中却存在肯定的问题：PID 控制器是单纯基于以后误差反馈的，因为制动机构的提早性，会给咱们的管制自身带来提早，而 PID 因为外部不存在零碎模型，故 PID 不能对提早建模，为了解决这一问题，咱们引入基于模型预测的管制办法。· 预测模型：基于以后的状态和管制输出预测将来一段时间的状态的模型，在无人车零碎中，通常是指车辆的运动学 / 动力学模型；· 反馈校对：对模型施加了反馈校对的过程，使预测管制具备很强的抗扰动和克服零碎不确定性的能力。· 滚动优化：滚动地优化管制序列，以失去和参考轨迹最靠近的预测序列。· 参考轨迹：即设定的轨迹。下图示意模型预测管制的根本构造，因为模型预测管制基于静止模型进行优化，在 PID 管制中面临的管制延时问题能够再建设模型思考进去，所以模型预测管制在无人车管制中具备很高的利用价值。
05 结语
在本结咱们概述了无人驾驶零碎的根本构造，无人驾驶软件系统通常被划分为三层：感知，布局和管制。从某种程度上而言，无人车在这种分层体系下就能够看作是一个“载人机器人”，其中，感知具体包含环境感知和定位，近年来深度学习的冲破，使得基于图像和深度学习的感知技术在环境感知中施展了越来越重要的作用，借助人工智能，咱们曾经不再局限于感知障碍物，而逐步变成了解障碍物是什么，了解场景，甚至预测指标障碍物的行为，机器学习和深度学习的内容咱们将在前面两章具体理解。在理论的无人车感知中，咱们通常须要交融激光雷达，相机和毫米波雷达等多种测量，这里波及到的如卡尔曼滤波，扩大卡尔曼滤波等交融算法以及激光雷达。无人车和机器人的定位办法泛滥，目前支流的办法一是应用 GPS+ 惯性导航零碎交融的办法，二是基于 Lidar 点云扫描匹配的办法，将重点介绍 ICP，NDT 等基于点云匹配的算法。布局模块外部也被分成三层：工作布局（也被称为门路布局），行为布局和动作布局，后文会介绍基于路网和离散门路搜索算法的工作布局办法，在行为布局中，咱们将重点介绍无限状态机在行为决策中的利用，在动作布局算法层，重点介绍基于采样的布局办法。无人车的管制模块咱们往往会应用基于模型预测的管制办法，然而在理解模型预测控制算法之前，作为对根底反馈管制的理解，咱们后面理解了 PID 控制器。接着咱们学习两类最简略的车辆模型——运动学自行车模型和动力学自行车模型，最初，咱们介绍模型预测管制。尽管将无人车了解为机器人并且应用机器人开发的思维解决无人车零碎是目前工业界的共识，然而也不乏一些单纯应用人工智能或者是智能体来实现无人驾驶的案例。其中基于深度学习的端到端无人驾驶和基于强化学习的驾驶智能体是目前的钻研热点。
1. 书籍举荐 -《机器人编程：应用树莓派 3 和 Python 构建和管制自主机器人》2. 最新|3D SLAM 对于 z 轴精度的优化思路整顿 3. 书籍举荐 -《卡尔曼滤波与信息交融》4. 机器人静止|浅谈 Time Elastic Band 算法 5. 书籍举荐 -《大规模 SLAM 技术》6. ROS 与挪动底盘通信