随着冬奥会的完满落幕和残奥会的揭幕，北京成为了奥运史上首个胜利举办奥运会和冬奥会的“双奥之城”。在本届冬奥会赛场上，大家除了对赛场内奥运健儿们的体现印象粗浅以外，在赛场外，中国的科技翻新力量也让人眼前一亮。其中，主动驾驶作为“科技冬奥专项”的重点项目之一，首次实现全天候、多车型、全场景利用。
事实上，主动驾驶并不是第一次亮相奥运会。在 2018 年平昌冬奥会上，古代汽车就展现 L4 级主动驾驶性能的车辆，但因为过后数据量少、技术不成熟、车辆零碎不稳固，产生了辨认误差问题，导致呈现了车辆通过人行横道时未被动加速刹车，须要驾驶员干涉的状况。在主动驾驶生产过程中，一旦短少数据，就意味着短少模型来晋升车辆精准度。数据对车辆环境感知、精准定位、门路布局都有肯定的影响，而这些性能间接影响了车辆构建感知层、决策层、执行层的技术架构。
本篇文章重点分享主动驾驶厂商飞步科技通过应用焱融科技高性能分布式文件存储 YRCloudFile 疾速存储及性能晋升的实际过程。杭州飞步科技公司（以下简称：飞步科技），成立于 2017 年，在经验屡次扩张后，飞步科技在主动驾驶畛域取得较大冲破。通过近 2 年的主动驾驶算法验证后，飞步科技于 2019 年开始研发基于 Level 4 级别的港口主动驾驶技术，并于 2020 年 5 月在舟山港梅山港区投入商用，开始与人工驾驶的卡车协同运作。
No.1 YRCloudFile 开启主动驾驶“进阶之路”
随着技术的一直降级，高性能、高牢靠和高可用未然成为下一代主动驾驶存储解决方案的关键词，也成为各大公司存储技术倒退的支流方向。面对主动驾驶技术倒退过程中遇到的数据处理流程，焱融科技切实提出了相应的解决方案。
一站式数据服务平台，缩小数据反复拷贝工夫
以后，泛滥车企和解决方案提供商在提出计划时，通常会基于规模的限度和后期老本两方面思考，采纳传统的 NAS 存储来为下层利用提供数据拜访。然而，因为传统存储的性能和并发性能都有肯定限度，不能达到最优成果，所以客户往往采纳拷贝的模式，以本地的电脑的 SSD 磁盘作为模型训练的存储底座。
实际上，这一整套架构体系不仅会消耗大量的数据拷贝工夫，而且容易对大量客户端的并发造成不良后果，重大影响客户的研发进度及公司倒退打算。在传统架构中，存在肯定的局限性，容易限度 L4 级主动驾驶的研发进度和业务拓展，所以更换存储架构体系成为客户亟需解决的问题。
焱融科技认为能够通过对立的数据服务平台进行治理的形式，以此缩小数据反复拷贝工夫。其中，YRCloudFile 分布式存储系统可能实现：
- 无效确保数据被搁置在多个节点的多个磁盘上，升高节点夯机和磁盘损坏带来的数据失落几率，进步数据冗余性和解决数据独立寄存带来的危险；
- 反对多客户端并发，无效进步并发效率和训练效率；
- 具备多元数据 MDS 服务，有利于进步海量训练文件的读写效率，以及疾速实现训练模型开发的工作。
为了后续业务增长和扩容的需要，焱融科技 YRCloudFile 高性能分布式文件存储提供了疾速便捷的计划，在降级过程中，保障业务继续运行。在对立的数据管理平台下，轻松解决了扩散存储和重复拷贝数据所带来的工夫耗费问题。
IT 架构比照图
冲破算法长尾场景难点，海量数据性能需求更加明确
以后，大家普遍认为制约主动驾驶技术倒退的重要因素是，无奈精确解决所有简单环境下有限可能的长尾场景。但如果能让算法冲破长尾场景，那么就须要管制单元更智能、响应速度更快、管制更准确。
面对算法的冲破和管制单元更智能的要求，就须要研发人员采集大量的数据，反对研发的冲破和 AI 芯片的智能晋升，这也对海量数据性能有了更明确的要求。
为了解决这个问题，咱们采取了可程度扩大设计的 MDS 架构办法，以此实现 MDS 集群化。这次要思考到以下三方面：
- MDS 集群化有利于缓解 CPU，升高内存压力；
- 多个 MDS 有利于企业存储更多元的数据信息；
- 在实现元数据处理能力程度扩大的同时，晋升海量文件并发拜访的性能。
多级智能缓存 + 预读，解决多样化的海量混合文件读写能力
为了实现 L4 级主动驾驶能齐全脱离人的掌控，通常会由车辆的管制单元和辅助反对单元来辅助车辆进行主动驾驶。通常车辆在城市道路行驶时，会面临大量简单、多样化的场景。
从关闭的环境到高速公路，再到个别城市道路，路线环境会逐步简单和多样化。为了满足路线环境条件，这就要求 L4 级主动驾驶的车载零碎笼罩和感知能力极高。
目前，笼罩的伎俩次要通过高精地图；感知能力次要依附雷达、传感器、摄像头、卫星成像零碎等。在面对多样化的数据类型和大小以及辅助伎俩的精确度时，咱们更须要为存储提供海量非结构化数据大小文件混合的解决能力。
以往主动驾驶车辆通常会采纳一般文件系统缓存的解决方案，然而其通常会面临两种问题：
- 一般文件系统缓存只提供内存缓存且容量无限，通常一台 GPU 服务器可用的内存缓存仅几十 GB 左右；
- 内存缓存 LRU 置换算法，导致缓存在每个 Epoch 的命中率低。
针对以上问题，焱融科技 YRCloudFile 高性能分布式文件存储提出通过公有客户端的形式，提供了多级智能缓存。这样的形式次要有三个劣势：
- 内存缓存 + GPU 服务器 SSD 缓存；
- 对训练框架、应用程序齐全通明；
- 在整个训练中，数据集加载速度实测晋升幅度超过 500%。
YRCloudFile 多级智能缓存
No.2 YRCloudFile 全面解决主动驾驶的问题
现在，主动驾驶训练过程是十分谨严的，不仅须要大量的训练数据，而且须要兼顾性能、运行效率和数据安全。为此，泛滥主动驾驶训练厂商会关注：如何防止资源抢占的调配问题，实现热数据在为 AI 提供高性能拜访的个性的同时，冷数据能够在用户现有的低成本对象存储中无效保留。基于上述思考，焱融科技 YRCloudFile 高性能分布式文件存储作出了如下优化：
智能冷热数据分层，无效均衡老本和性能
在主动驾驶训练过程中，YRCouldFile 文件存储系统的智能分层性能能够依据用户须要，自定义冷热数据策略，冷数据主动流动至低成本的私有云对象存储并实现压缩，向上依然为业务提供规范的文件拜访接口，并放弃目录构造不变，数据在冷热数据层之间流动对业务齐全通明，能无效地对老本和性能做好均衡。另外，焱融科技还进一步深度优化了产品：
- 标准文件接口，数据拜访门路不扭转；
- 目录级智能分层；
- 冷数据性能不降级；
- 对立纳管对象存储数据；
- 分层镜像双活
通过冷、热数据智能分层的形式，YRCloudFile 能够满足绝大多数企业在主动驾驶训练过程中，对于高性能存储和数据长期保留的需要。
YRCloudFile 分布式存储架构图
在高性能分布式文件存储 YRCloudFile 的帮忙下，飞步科技解决了数据独立寄存带来的危险，实现通过多客户端并发的形式，进步并发效率和训练效率。同时，YRCloudFile 的多元数据 MDS 服务，无效进步海量训练文件的读写效率，实现疾速实现训练模型开发的工作。此外，YRCloudFile 还为飞步科技后续的业务增长和扩容提供疾速便捷的计划，让业务无停滞。