BEV感知系列分享是整数智能推出的一个全新分享系列，在这个系列中，咱们将介绍BEV感知相干的算法和数据集等内容。BEV感知系列次要分为以下几篇文章：

  • BEV感知，是下一代主动驾驶感知算法风向吗？
  • BEV感知的开源数据集分享
  • 更多干货正在更新中...

在本篇中，咱们将介绍截止目前为止各大科研机构和企业推出的实用于BEV算法开发的主动驾驶数据集。
本篇介绍的数据集涵盖了真实世界的图像数据、点云数据和仿真构建的主动驾驶场景数据。所有这些数据集都提供了有价值的信息，钻研人员能够利用这些数据集来帮忙主动驾驶汽车开发BEV感知算法。

「本期划重点」

  • nuScenes：解决不足多模态数据集的问题
  • Waymo：以分片的TFRecord格式文件提供
  • Cam2BEV：语义宰割BEV视角的仿真数据集
  • Argoverse2：同时蕴含6个城市的高清地图
  • CityScapes 3D：仅应用平面RGB图像进行标记
  • OpenLane：第一个真实世界的3D车道数据集
  • DeepAccident：第一个用于主动驾驶大规模事变数据集
  • Apollo Synthetic, AIODrive：用于主动驾驶的仿真数据集

在City上面，“AS”代表亚洲，“EU”代表欧洲，“NA”代表北美，“Sim”代表模仿数据。在Sensor Data下，Scenes是指数据集的剪辑（对于不同的数据集，Scenes的长度是不同的），Scans指导云数据。在Annotation下，Frames示意3D bbox/ 3D lane正文帧的数量，3D bbox/ 3D lane示意3D bbox/ 3D lane正文实例的数量，3D seg.示意点云的宰割正文帧数

01「nuScenes」

  • 公布方：Motional
  • 下载地址：https://nuscenes.org/nuscenes...
  • 论文地址：https://arxiv.org/pdf/1903.11...
  • 公布工夫：2019年
  • 简介：主动驾驶中平安导航的一个要害局部是检测和跟踪车辆周围环境中的人。为了实现这一指标，古代主动驾驶汽车部署了几个传感器和简单的检测和跟踪算法。这种算法越来越依赖于机器学习，这就促使人们须要基准数据集。尽管有大量的图像数据集用于此目标，但不足多模态数据集来展现与建设主动驾驶感知零碎相干的全副挑战，nuScenes数据集就是来解决这个问题

  • 特色

    • 具备残缺的传感器套件（1 x Lidar、5 x Radar、 6 x 摄像头、 IMU、GPS）
    • 1000个场景，每个场景20秒
    • 1,400,000张相机图像
    • 390,000次激光雷达扫描
    • 两个多元化城市：波士顿和新加坡，别离为左侧行驶和右侧行驶交通
    • 140万个3D边界框，分为23个对象类别

nuScenes数据集的例子，有6种不同的摄像头视图、激光雷达和雷达数据，以及人类正文的语义地图

02「Waymo」

  • 公布方：WAYMO
  • 下载地址：https://waymo.com/open/download/
  • 论文地址：https://arxiv.org/abs/1912.04838
  • 公布工夫：2019年
  • 简介：数据集以分片的TFRecord格式文件提供，其中蕴含协定缓冲区数据。这些数据中训练集占70%，测试集占15%，验证集占15%。该数据集由103,354个片段组成，每个片段蕴含20秒的10Hz的物体轨迹和该片段所笼罩区域的地图数据。这些片段被进一步宰割成9秒的窗口（1秒的历史数据和8秒的将来数据），有5秒的重叠。数据以两种模式提供。第一种模式是存储为情景协定缓冲区。第二种模式是将Scenario protos转换为tf.Example protos，蕴含用于建设模型的张量

  • 特色

    • 蕴含1200万个高质量、人工正文的3D ground truth框
    • 蕴含1200万个用于激光雷达数据，以及用于相机图像的2D严密拟合边界框
    • 所有ground truth框都蕴含反对指标跟踪的轨迹标识符，约113k激光雷达物体轨迹和约250k相机图像轨迹
    • 钻研人员能够应用数据集提供的滚动快门感知投影库，从三维激光雷达方框中提取二维正交相机方框

    激光雷达标签的例子。黄色=车辆，红色=行人，蓝色=符号，粉色=自行车

03「KITTI Bird's Eye View Evaluation 2017」

  • 公布方：KITTI
  • 下载地址：http://www.cvlibs.net/dataset...
  • 官网地址：http://www.cvlibs.net/dataset...
  • 公布工夫：2017年
  • 简介：针对鸟瞰数据的数据集，作者为一辆规范旅行车装备了两个高分辨率黑白和灰度摄像机，Velodyne激光扫描仪和GPS定位系统提供精确的地面实况。该数据集在中型城市卡尔斯鲁厄四周的农村地区和高速公路上驾车拍摄，每张图像最多能够看到15辆汽车和30名行人

  • 特色

    • 蕴含7481张训练图像和7518张测试图像以及相应的点云
    • 共包含80.256个标记对象
    • 为了评估，计算了精度-召回曲线

04「Cam2BEV」

  • 公布方：RWTH Aachen University
  • 下载地址：https://gitlab.ika.rwth-aache...
  • 论文地址：https://ieeexplore.ieee.org/a...
  • 公布工夫：2020年
  • 简介：该数据集是在模仿环境中创立的仿真数据集，在模仿中，自我车辆装备了四个雷同的虚构广角相机笼罩全360度盘绕视角，ground truth数据由虚构无人机摄像机提供，BEV ground truth图像位于自我载体上方的核心，视线大概为70米 x 44米，输出和ground truth图像都以964px x 604px的分辨率记录

  • 特色

    • 针对可见区域思考了9个不同的语义类（路线、人行道、人、汽车、卡车、公共汽车、自行车、阻碍、植被）
    • 图像以2Hz的频率记录
    • 蕴含33000个用于训练的样本和3700个用于验证的样本

    数据集中四个视角的摄像机图像和BEV视角

05「Argoverse1」

  • 公布方：Argo AI
  • 下载地址：https://www.argoverse.org/av1...
  • 论文地址：https://arxiv.org/abs/1911.02620
  • 公布工夫：2019年
  • 简介：该数据集由匹兹堡和迈阿密的主动驾驶车队收集。包含7个摄像头的360°图像与重叠视线，从近程激光雷达获取的3D点云，进行6-DOF姿势，和3D轨迹标注

  • 特色

    • 包含超过300000个5秒跟踪场景，用于轨迹预测
    • 第一个蕴含高清地图的主动驾驶数据集
    • 蕴含290公里的地图车道，并蕴含几何和语义元数据

    该数据集蕴含激光雷达测量序列，360°RGB视频，侧面平面（中右），和6自由度定位。所有序列都与蕴含车道中心线（洋红色）、可驾驶区域（橙色）和高空高度的地图对齐。序列用3D长方体轨迹（绿色）进行正文。右下方显示了一个更宽的地图视图

06「Argoverse2」

  • 公布方：Argo AI
  • 下载地址：https://github.com/argoai/arg...
  • 论文地址：https://datasets-benchmarks-p...
  • 公布工夫：2021年
  • 简介：Argoverse 2是一组来自美国六个城市的开源主动驾驶数据和高清地图：奥斯汀、底特律、迈阿密、匹兹堡、帕洛阿尔托和华盛顿特区。这是同类数据中首批蕴含用于机器学习和计算机视觉的高清地图的数据版本之一。它汇合了三个数据集用于主动驾驶畛域的感知和预测钻研，别离是带正文的传感器数据集，激光雷达数据集和静止预测数据集

  • 特色

    • 在所有三个数据集中每个场景都蕴含本人的3D车道和人行横道几何高清地图
    • 由25万个不重叠的场景组成，从美国6个独特的城市驾驶环境中开掘
    • 共蕴含10种对象类型，其中动静和动态类别各有5种
    • 每个场景包含一个本地矢量图和11秒（10Hz）的轨迹数据（2D地位、速度和方向），每种情景的前5秒记为观测窗口，后6秒记为预测窗口


    数据集中各种对象类型的混合（车辆、行人、公共汽车、骑自行车的人或骑摩托车的人），自主车辆用绿色示意

07「Lyft L5」

  • 公布方：Woven Planet Level 5
  • 下载地址：https://level-5.global/data/p...
  • 官网地址：https://level-5.global/
  • 公布工夫：2020年
  • 简介：该数据集领有超过1000小时的数据，这些信息是由20辆主动驾驶汽车组成的车队在加利福尼亚帕洛阿尔托的一条固定路线上历时4个月收集的，数据集中包含自主车队遇到的汽车、骑行者、行人和其它交通代理的挪动日志。这些日志来自通过公布方团队的感知零碎解决的原始激光雷达、摄像头和雷达数据，非常适合训练静止预测模型

  • 特色

    • 数据集包含1000+交通代理挪动小时数
    • 蕴含170,000个场景，每个场景长25秒，捕获主动驾驶汽车四周的环境，每个场景都在给定工夫点对车辆周围环境的状态进行编码
    • 蕴含有15242个标记元素的高清语义地图和该地区的高清鸟瞰图

    数据集中场景的例子，投影在鸟瞰图的栅格化语义地图上。主动驾驶车辆为红色，其它交通参与者为黄色，车道色彩示意行驶方向

08「H3D」

  • 公布方：Honda
  • 下载地址：http://usa.honda-ri.com/H3D
  • 论文地址：https://arxiv.org/abs/1903.01568
  • 公布工夫：2019年
  • 简介：这是一个应用3D LiDAR扫描仪收集的大规模全盘绕3D多指标检测和跟踪数据集。H3D具备独特的数据集规模，丰盛的正文和简单的场景，能够促成全盘绕三维多指标检测和跟踪的钻研

  • 特色

    • 蕴含160个拥挤和高度互动的交通场景
    • 在27721帧中共有100万个标记实例

    在BEV视角中的检测案例

09「CityScapes 3D」

  • 公布方：CITYSCAPES
  • 下载地址：https://www.cityscapes-datase...
  • 论文地址：https://arxiv.org/abs/2006.07864
  • 公布工夫：2020年
  • 简介：CityScapes 3D具备实用于所有类型车辆的3D边界框正文以及3D检测工作的基准，与现有的数据集相比，该数据集的3D正文仅应用平面RGB图像进行标记，并捕捉了所有9个自由度。与基于激光雷达的办法相比，这导致了RGB图像中像素准确地重投影和更高范畴的正文。为了简化多任务学习，公布方提供了2D实例段与3D边界框的配对

  • 特色

    • 仅应用平面RGB图像取得高空ground truth正文
    • 提供残缺的3D方向标注，包含偏航、俯仰和滚转角度，已笼罩刚性物体的所有九个自由度
    • 蕴含5000张图片，分为2975张用于训练，500张用于验收，1525张用于测试

    数据集中鸟瞰图标签辅助的例子

10「OpenLane」

  • 公布方：上海人工智能实验室主动驾驶团队
  • 下载地址：https://github.com/OpenPercep...
  • 论文地址：https://arxiv.org/abs/2203.11089
  • 公布工夫：2022年
  • 简介：OpenLane是第一个具备高质量标记和微小多样性的大规模实在3D车道数据集。OpenLane是在Waymo Open数据集上构建，遵循雷同的数据格式和评估管道。标注员正文了每一帧中的所有车道，因为简单的车道拓扑构造，例如十字路口/盘旋处，在OpenLane中一帧能够蕴含多达24个车道，大概25%的帧中有超过6个车道

  • 特色

    • 蕴含20万帧，超过88万个实例级车道，14个车道类别，以及场景标签和门路关闭对象标注
    • 除了车道检测工作，数据集中还标注了（a）场景标签，如天气和地位；（b）最近门路对象（CIPO），定义为最关注的指标对象

    OpenLane的正文样本与其它车道数据集的比拟

11「Apollo Synthetic」

  • 公布方：appolo
  • 下载地址：https://developer.apollo.auto...
  • 官网地址：https://developer.apollo.auto...
  • 公布工夫：2019年
  • 简介：Apollo Synthetic是一个用于主动驾驶的仿真合成数据集。它蕴含27.3万个不同的来自各种高视觉保真度的虚构场景，包含高速公路、城市、住宅、市中心、室内停车场环境。这些虚拟世界是用Unity 3D引擎创立的。合成数据集的最大劣势是它提供了准确的高空实在数据。另一个益处是更多的环境变动，如一天中不同的工夫，不同的天气条件，不同的交通/阻碍，以及不同的路面品质。该数据集提供了大量的ground truth数据，二维/三维物体数据，语义/实例级宰割，深度和三维车道线数据

  • 特色

    • 包含简直所有的路线场景
    • 更多的环境变动
    • 提供大量的ground truth数据

12「DeepAccident」

  • 公布方：香港大学
  • 下载地址：https://hku-deepaccident.gith...
  • 官网地址：https://hku-deepaccident.gith...
  • 公布工夫：2022年
  • 简介：DeepAccident数据集是首个用于主动驾驶的大规模事变数据集，蕴含全面的传感器集，反对各种主动驾驶工作。值得注意的是，对于每个场景都有四个数据收集车辆，两个设计用于互相碰撞，另外两个别离跟在前面。因而，DeepAccident还能够反对多车协同主动驾驶

  • 特色

    • 装置了64线LiDAR，并装置了六个1920x1080分辨率的摄像头，以提供360度的环境视线
    • 数据集中有三种类型的坐标零碎，包含世界坐标、车辆坐标和传感器坐标
    • 记录了采集车100米范畴内物体的地位、偏航角、大小和速度。对于高精地图，数据集中提供了范畴内的地图信息，确保数据采集车在任何工夫步都能取得100米范畴内的地图，每个地图点都蕴含其地位、方向以及类型数据
    • 蕴含21种类型，包含驾车、骑车、人行道、停车等

    数据集种的图像示例

13「AIODrive」

  • 公布方：卡内基梅隆大学
  • 下载地址：http://www.aiodrive.org/downl...
  • 论文地址：http://www.xinshuoweng.com/pa...

  • 公布工夫：2022年

    • 简介：为了翻新持重的主动驾驶多传感器多任务感知零碎，汇合现有数据集的各种劣势，作者提出AIODrive，这是一个综合的大规模数据集，提供了全面的传感器、正文和环境变动

    • 特色

      • 8种传感器模式（RGB, Stereo, Depth, LiDAR, SPAD-LiDAR, Radar, IMU, GPS）
      • 所有支流感知工作（检测，跟踪，预测，宰割，深度预计等）的正文
      • 非散布驾驶场景（顽劣天气和照明，拥挤场景，高速驾驶，违反交通规则和车辆碰撞）

    2D-3D语义宰割正文

14「ONCE」

  • 公布方：华为
  • 下载地址：https://once-for-auto-driving...
  • 论文地址：https://arxiv.org/abs/2106.11037
  • 公布工夫：2021年
  • 简介：为了解决数据有余的问题，ONCE（One millionN sCenEs）数据集蕴含100万个三维场景和700万个相应的二维图像，从数量上看比最大的Waymo Open数据集多5倍，而且三维场景的记录时间为144个驾驶小时，比现有数据集长20倍，涵盖了更多不同的天气条件、交通条件、时间段和地区

  • 特色

    • 100万LiDAR帧，700万相机图像
    • 200平方公里的驾驶区域，144小时驾驶工夫
    • 15000个齐全正文的场景，有5个类别（汽车、公共汽车、卡车、行人、自行车）
    • 多样的环境（白天/夜晚，晴天/雨天，城市/市区）

    ONCE中图片和点云图像

15「A2D2」

  • 公布方：奥迪
  • 下载地址：https://www.a2d2.audi/a2d2/en...
  • 论文地址：https://arxiv.org/abs/2004.06320
  • 公布工夫：2021年
  • 简介：该数据集包含同时记录的图像和3D点云，以及3D边界框、语义宰割、实例宰割和从汽车总线提取的数据。数据集总的传感器套件包含六个摄像头和五个激光雷达单元，提供360°笼罩，记录的数据进行工夫同步和互相注册

  • 特色

    • 语义宰割蕴含41280帧，蕴含38个类别
    • 数据集中为12499帧提供了3D边界框，标注了14个与驾驶相干的类别

    A2D2数据可视化。从左起：语义宰割，3D边界框，点云，单帧点云叠加在相机图像

16「A*3D」

  • 公布方：Singapore University of Technology and Design
  • 下载地址：https://github.com/I2RDL2/AST...（github链接，数据集仍有些问题需解决，需邮件分割作者获取）
  • 论文地址：https://arxiv.org/abs/1909.07541
  • 公布工夫：2019年
  • 简介：由RGB和LiDAR数据组成，具备显著的场景、工夫和天气多样性。该数据集由高密度图像（约等于KITTI数据集的10倍）、高遮挡、大量夜间帧（约等于nuScenes数据集的3倍）组成，填补了现有数据集的空白，将主动驾驶钻研的工作边界推至更具挑战性的高度多样化的环境

  • 特色

    • 蕴含39K帧、7个类和230K 3D对象标注
    • 在不同工夫（白天，黑夜）和天气（太阳，云彩，雨）捕捉

    A*3D数据集中的数据样本，蕴含RGB图像和相应的激光雷达数据，这两组白天和早晨的场景展现了环境中较高的物体密度