摘要：由华为云携手上海交通大学学生翻新核心举办的“第二届华为云人工智能大赛 · 无人车挑战杯”中，来自电子科技大学的“暑期休闲队”取得大赛季军。
由华为云携手上海交通大学学生翻新核心举办的“第二届华为云人工智能大赛 · 无人车挑战杯”总决赛已胜利落下帷幕。来自电子科技大学的“暑期休闲队”，本身领有扎实的模式识别、机器人等学科知识，借助华为云一站式 AI 开发治理平台 ModelArts 和端云协同解决方案 HiLens，进行无人车模型开发与部署，最终取得季军。
电子科技大学自动化工程学院 贵兴泰
“暑期休闲队”撰文分享其参赛体验，包含如何应用华为云 ModelArts 和 HiLens 实现无人车的指标检测，多源数据交融及行驶管制的能力等。
一、队伍背景故事
1“咱们为什么加入”
咱们是来自电子科技大学自动化工程学院以及计算机科学与工程的五名研究生新生，因为研究生钻研方向多为模式识别、机器人等畛域，并且对人工智能技术十分感兴趣，因而在往年七月份的时候自发组织报名加入了往年的华为云无人车挑战赛。五位队员都有较为丰盛的科研比赛经验，且都是华为的忠诚粉丝，对于这次全新的较量充斥了信念与激情。
2“咱们遇到了哪些艰难”
首先是因为往年非凡的疫情起因，咱们五个人后期无奈汇合在一起进行比赛项目的切磋以及布局，正式开始备赛是在九月初，因而咱们的筹备工夫只有大略十五天，然而在学校学院的反对下，咱们能够有一个比拟好的调试场地，从开学也是间接进入高强度的开发工作中，在返回上海之前曾经把基本功能实现。
在半决赛和决赛的过程中，次要是小车巡线性能对光线环境有些敏感，在决赛较量中时呈现了跑出轨道的状况，不过咱们队伍负责巡线的队员通过丰盛的临场调车教训，还是及时的解决了这个问题，最终也获得了不错的问题。
3“咱们的欢畅时光”
当初回忆一下咱们备赛的日子，最欢畅的时光就是五个人在校园里调车的日日夜夜，一起面对技术难点，一起享受灵感实现的高兴，看着一台小车从什么都不会到最初实现了各种各样的性能。当然，在决赛的时候，最终能获得季军的问题也让咱们十分开心。
二、赛题介绍
小车须要在规定赛道上通过层层关卡，包含交通灯辨认（登程 & 泊车）、弯道行驶、斑马线行人辨认、限速解限速辨认、主动泊车、竞速等。小车不仅仅要实现所有的赛点，还要跑得快。而这里考验的是参赛者的综合能力，包含车体构造、底盘管制、传感器、网络通信、云端数据处理、人工智能等多学科的常识，而难点在于将这些知识点交融贯通。参赛队员须要联合华为云人工智能平台（华为云 ModelArts 一站式 AI 开发与治理平台、HiLens 端云协同 AI 开发利用平台）以及 ROS 操作系统对小车进行开发。
三、整体解决方案：
此次无人车大赛中参赛车辆次要有三个传感器：激光雷达和两个摄像头，别离是小车本身的摄像头以及 HiLens Kit 上的摄像头，而激光雷达 + 相机的多源数据交融解决方案正是无人驾驶畛域最为支流的技术。咱们队伍对每个传感器的作用进行了总结：
利用激光雷达进行可通行区域检测以及动静避障，利用小车摄像头进行车道线检测以及利用 HiLens Kit 进行指标检测以及相应的决策控制。
3.1
激光雷达通过获取点云数据在小车行驶后方的无效扇区内进行阻碍均值坐标计算，给与有无障碍状态实现近距应急阻碍检测，行人阻碍检测，因而本车的一大亮点是当在行驶过程任意状态检测到障碍物都能够进行及时的刹车，在备赛过程中大大不便了咱们的调试。
可前进区域检测通过对激光雷达对可前进区域边界进行检测，取得可前进区域均值点。
再通过阿克曼地盘静止边界确定后退点, 并且取得冀望方向。
咱们利用下面两个技术实现了较量中对于在人行道处对障碍物的检测以及顺利通过交叉路口两个工作
3.2
利用小车车头局部的摄像头进行车道线检测，检测计划如下：
Step1 : 应用高斯滤波，均值滤波，大津法对图像进行解决。
Step2：在图像中逐行搜寻边界点。
Step3：滤除不合理边界点。
Step4：应用最小二乘法对左右边线进行修复。
Step5：计算图像中线。
Step6：应用最小二乘法对中线进行修复。
Step7：应用 PID 计算转角。
车道线检测成果如下：
3.3
再通过 HiLens Kit 进行指标检测，HiLens Kit 是由华为云开发的多模态 AI 开发套件，应用的 AI 芯片是华为自研的 Ascend 310 芯片，具体 16T 的算力。同时，开发者不仅能够应用设施自带的摄像头，还能够外接摄像头，同时解决 10-16 路视频剖析。HiLens Kit 检测到各种指标后，通过 socket 协定发送给 ROS 端，并在 ROS 端进行一系列决策控制实现红灯停、绿灯行、人行道进行、限速牌限速、解限速牌解限速以及黄灯泊车一系列操作。
3.4
小车整体履行计划如图：
ROS 通信如图：
四、华为云 ModelArts 平台的应用
较量须要利用 ModelArts 平台进行指标检测工作，检测包含红绿黄灯检测、限速解限速牌检测、人行道检测。
应用 ModelArts 平台进行模型搭建的流程包含：
数据获取与加强、数据集筹备、模型抉择与训练、模型转换
4.1 数据获取与加强
本次较量除了官网提供的训练集外，在决赛阶段咱们还额定减少了在测试场地与比赛场地的训练集，训练集的获取首先通过 HiLens Kit 摄像头捕捉到行驶路段的视频，保留到 /tmp 目录下，再通过 tcp 从 HiLens 传到本地应用 opencv 距离地从视频中截取图像作为咱们的原始数据集。
此外，咱们还利用了三种数据加强的办法，来解决数据量较少带来的过拟合问题，别离是 horizontal flip、cutout 和 mix up。
horizontal flip 就是程度镜像翻转，这个办法实现较为简单，然而镜像翻转应用时要留神只有当一个图像散布不具备视觉手性的时候，咱们能力在不扭转原先图像散布的前提下，应用镜像翻转来加强数据集，因为人行道、预选赛的红绿灯就不具备视觉手性，因而咱们应用镜像翻转对这类图像来进行数据加强，转换成果如下：
Cutout 和 mixup 是计算机视觉中罕用的两种数据加强办法，Cutout 是将图片的随机区域填充噪声，而 mixup 是一种使用在计算机视觉中的对图像进行混类加强的算法，它能够将不同类之间的图像进行混合，从而裁减训练数据集，加强成果如下：
4.2 数据集筹备
Step1：下载 OBS Browser，配置 OBS 桶，将原始采集数据上传至 OBS 桶内，并创立数据集。
对象存储服务（Object Storage Service）是一款稳固、平安、高效、易用的云存储服务，具备规范 Restful API 接口，可存储任意数量和模式的非结构化数据
对象存储服务 OBS 配置阐明文档：https://support.huaweicloud.c…
OBS 控制台阐明文档：
https://support.huaweicloud.c…
再进入 ModelArts 平台的数据标注模块，创立数据集，抉择物体检测，增加标签集。
数据集创立参考：
https://support.huaweicloud.c…
Step2：在 ModelArts 中进行标注
在“数据标注”页面单击“未标注”页签，此页面展现所有未标注的图片数据。单击任意一张图片，进入图片标注界面。用鼠标框选图片中的物体所在区域，而后在弹出的对话框中抉择标签色彩，输出标签名称，按“Enter”键实现此标签的增加。标注实现后，左侧图片目录中此图片的状态将显示为“已标注”。如下图
ModelArts 数据标注阐明：
https://support.huaweicloud.c…
4.3 模型抉择与训练
在 ModelArts 里抉择模型并创立训练任务，咱们抉择的模型是 YOLO v3，YOLO 是 one stage 的算法，相较于 two stage 的相似 rcnn 之类的模型的特点是速度快，这在无人车实时指标检测工作中十分重要。YOLO v3 在 v2 根底上减少了网络复杂度，就义了大量速度来换取精度晋升，且精度足够满足较量需要。模型抉择之后期待训练任务实现。
训练实现后能够通过可视化察看训练状况
4.4 模型转换
在 ModelArts 训练失去现实模型后，须要在 HiLens Studio 外面实现模型转化，生成昇腾芯片上可应用的模型（OM 模型）（这一步也能够在 HiLens Studio 里进行），参考：
ModelArts 平台模型转换工具指南:
https://support.huaweicloud.c…
HiLens Studio 上模型转换工具指南：
https://www.huaweicloud.com/a…
五、华为云端云协同 AI 开发平台 HiLens 的应用
5.1 HiLens 配置
应用 HiLens Kit 之前，须要开明 HiLens 服务。首先注册华为云账号，并实现实名认证，接着进入控制台抉择登录 HiLens 治理控制台，实现 HiLens 的权限申请。通过 PC 与 HiLens Kit 组网后，通过 web 能够界面化地登录到 HiLens Kit 治理平台，进行一键式操作链接无线网络。
5.2 HiLens Studio 的应用
在 HiLens 控制台中进入 HiLens Studio，首先须要新建一个 project，在技能模板中咱们能够抉择无人车较量的模板技能，并基于此模板进行批改，在 project 中咱们次要有 utils.py、socket_config.py 以及 main.py，其中 utils.py 用来对图片进行预处理、检测框的标注并输入类别、标注框坐标信息等性能，socket_config.py 次要将检测后果编码并构建 socket 通信协议与 ROS 端进行信息交互，main.py 用来调用这些 python 文件并且调用训练好的模型。，main.py 文件中咱们利用多线程防止因为 socket 通信造成的程序梗塞。
模型检测理论较量成果如下：
六、亮点
(1) 鲁棒性好，咱们的数据采集于多场景，因而在不同环境下检测成果较为稳固。
(2) 间断帧间检测稳固，咱们针对每项分类独自设置置信度阈值，避免一帧检测到一帧检测不到，并且在决策时保障严格的条件再进行控制指令，防止因外界客观因素造成的误辨认。
(3) 小车巡线能力强，如下图，在小车行驶在交叉路口的过程中，并没有残缺的车道线，但仍然能够通过补线操作实现巡线，并且图像处理速度快，因而我队参赛车辆能够靠近满速跑齐全程，也因而我队在半决赛与决赛中均给裁判团以及观众留下了极为粗浅的印象。
(4) 多源数据交融晋升决策成果，如以下两个例子：
通过辨认墙体，帮忙雷达寻找可行区域
辨认到人行道后，告知转弯方向，(例如上图，告知将要左转)，帮忙小车巡线
七、ModelArts 与 HiLens 联合开发感想
在人工智能倒退迅速的明天，如何将人工智能算法与多学科穿插并落地实现真正的智能时代成为宽广学者与研发者独特的指标。华为云平台开发的 ModelArts 与 HiLens 的联结应用给予不论是人工智能初学者还是经验丰富的工程师更为便捷高效的开发环境。本次较量，这 ModelArts 与 HiLens 联结应用的解决方案对较量提供了十分高质量的服务。其长处如下：
(1) 数据操作包含数据上传、数据标注以及数据集的公布极为不便。
(2) 算法市场中华为云以及宽广开发者提供了针对各种工作，包含但不限于图像分类、指标检测、语义宰割等工作的算法，使用者能够间接调参应用。
(3) ModelArts 反对模型部署到多种生产环境，可部署为云端在线推理和批量推理，也能够间接部署到端和边。
(4) ModelArts 训练的模型能够通过模型转化并协同 HiLens 开发相干技能，将技能间接部署到端侧设施，实现算法落地。
(5) HiLens 端侧设施注册后可在设施管理处进行治理，包含查看、登记设施，以及一键降级设施的固件版本等。
(6) HiLens 提供大量的技能模板，开发者能够基于各种模板进行集能开发与部署。
(7) 昇腾芯片减速使得模型推理更加迅速，使得时延更低。
参考文献：
DeVries, T.; Taylor, G. W. Improved Regularization of Convolutional Neural Networks with Cutout. arXiv:1708.04552 [cs] 2017.
Zhang, H.; Cisse, M.; Dauphin, Y. N.; Lopez-Paz, D. Mixup: Beyond Empirical Risk Minimization. arXiv:1710.09412 [cs, stat] 2018.
Lin, Z.; Sun, J.; Davis, A.; Snavely, N. Visual Chirality. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2020, 12292–12300. https://doi.org/10.1109/CVPR4…
Redmon, J.; Farhadi, A. YOLOv3: An Incremental Improvement. 2018.
Zheng, Z.; Wang, P.; Liu, W.; Li, J.; Ye, R.; Ren, D. Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression. arXiv:1911.08287 [cs] 2019.
Yamauchi, Brian. “Frontier-based exploration using multiple robots.” Proceedings of the second international conference on Autonomous agents. 1998.
Lopez Perez, Jose J., et al. “Distributed multirobot exploration based on scene partitioning and frontier selection.” Mathematical Problems in Engineering 2018 (2018).
点击关注，第一工夫理解华为云陈腐技术~