以后，咱们生存在一个数字时代，一直通过技术与其他人分割曾经成为日常需要。生存中大家应用的机器也开始逐步变得更智能、更不便，包含每天在路上行驶的车辆。
随着车辆联网水平变得越来越高，汽车联网逐步成为人们对车辆的失常需要，而不再是妄想。在疫情、燃料老本和环境的倒推下，寰球正在迅速向电动汽车过渡，减速向可继续化的方向倒退。
一辆一般汽车每天都会产生大量的数据，车辆相当于是一台“长了轮胎”的电脑，每当它们挪动的时候，就会产生大量的数据。与一般汽车相比，电动汽车的静止部件就更少了，更像一台“长了轮胎”的智能手机，它们须要一个操作系统，不仅能够让车辆与用户有更多互动，还可能操控电动汽车的所有零碎和子系统，比方传动系统、电池管理系统、电机管制单元等等。
能够说，现在汽车曾经远远解脱了单纯运输的局限，实现从基于数据的服务中发明微小的市场价值。据分析师预测，到 2025 年，联网汽车将减少 90%。同时，联网汽车将占据所有联网设施的 5% 以上。
这也使得汽车行业开始利用软件的模式，通过模仿和基于设施数据收集解决方案的形式，解脱负载的模式。
数据是新“石油”，信息是力量
车联网的呈现，扭转了汽车的价值链和相干产业的整个生态系统。软件驱动的车辆具备独特的记录和共享能力，无效帮忙企业利用车辆数据实现真正个性化驾驶体验。
如果说，在工业革命期间，石油是推动技术提高的燃料，那么当初的车辆数据将成为推动咱们数字反动时代的新催化剂。将来的汽车将是电动的、互联的和自主的，它们须要一直地积攒、解决和共享从传感器和信息娱乐零碎承受的数据。据相干机构预测，到 2025 年，寰球销售的汽车中约有 30% 将反对 2 级或以上的自动化。
因而，将呈现越来越多的车辆领有本地收集、解决和存储数据的性能，并在适当的工夫上传云端。尤其是主动驾驶汽车，他们在日常训练过程中，不免产生大量的数据。以前置摄像头为例，它们在日常产生的数据大略是 70GB/ 小时到 300GB/ 小时之间，具体数据量还要取决于其分辨率、帧速率和压缩级别等等。
另外，不同车辆类型也会产生不同的数据。依据 Counterpoint Technology Market Research 高级分析师 Aman Madhok 在 Autonomous Vehicles to Boost Memory Requirement 一文中所说，与乘用车相比，机器人出租车和 OEM 测试车辆对硬件老本的敏感性较低，将产生更多的数据。与具备雷同自主程度的乘用车相比，典型的 OEM 测试车辆将产生约 80% 的数据。通过 20 多种不同类型的传感器能够集成到 4 级 AV 的 ADAS 中，车辆能够生成 1-2TB / hr 范畴内的数据，具体取决于它是乘用车、商用车还是机器人出租车。
同时，与以后汽车中应用的 2D 地图不同，主动驾驶汽车的高精度（HD）地图在刷新率的频率和采样办法方面差别很大。高清地图将无线进行实时更新，以准确和平安的形式准确驾驶 AV。高清地图十分准确，能够补充一些传感器缺点，以进步地位精度。以后的 2D 地图只有一个动态图层，能够每月更新一次。然而，高动态地图具备动态图层、半动态图层、半动态图层和动态图层。高清地图每小时、每分钟和每秒更新一次。
总而言之，主动驾驶汽车在疾速倒退过程，肯定会产生越来越宏大的数据量，随之而来就须要面临诸多存储挑战，诸如：
- 海量小文件；
- 存储性能局限；
- 数据管理艰难；冷数据无从下手；
- 数据类型繁冗。
通常来说，汽车制造厂商更喜爱将数据存储在本地，因为本来汽车能生成的数据绝对较少。然而随着汽车开始向 L4-L5 自动化演进，云计算和边缘计算策略的联合将占上风。
在这个阶段，数据存储面临更多的挑战，比方须要更审慎的数据收集、存储和应用策略。同时，主动驾驶车辆将面临设计和老本限度，以及网络和云将受到带宽、提早、安全性和连接性的限度。
故而，主动驾驶汽车须要一个更智能的存储。
如何从容应对主动驾驶数据洪流？
针对主动驾驶企业经常面临的几大问题，焱融科技认为如果能全面晋升存储系统的元数据处理能力、目录热点、多级智能缓存、智能分层等方面，那么主动驾驶在现阶段面临的存储问题便能够迎刃而解。
元数据压力大
因为主动驾驶的训练数据文件通常会扩散在不同的门路下，读取文件须要消耗大量的工夫在 list 操作上。因为对象存储 list 操作性能较差，因而在进行大规模 list 时对 OSS 元数据压力很大，经常出现超时或者 list 失败的状况。
为了解决训练文件扩散，元数据压力大的问题，YRCloudFile 抉择通过可程度扩大设计的 MDS 架构，实现 MDS 集群化，并次要采纳动态子树 + 目录 Hash 两者联合的形式搭建可程度扩大设计的 MDS 架构。通过此架构，不仅实现了元数据的散布存储，通过扩大元数据节点，即可反对百亿级别的文件数量，而且在肯定水平上，保障了元数据的检索性能，缩小在多个节点上进行元数据检索和操作。
训练模型 IO 特点难把控
在训练过程中，数据 90% 以上都是读操作，并且是小文件的程序读或大文件的随机读。在训练过程中，数据集是不会被批改和删除的，元数据的操作集中在 open/close/stat/revalidate，不会有非凡的元数据操作，数据操作就是 read。基于这种 IO 特点，当须要进一步晋升性能时，能够选择性弱化某些 POSIX 语义，甚至是升高数据的一致性，比如说在客户端减少弱化一致性之后的读缓存，从而大大晋升训练过程中对数据的读取速度，缩短训练工夫。
在大规模存储系统中，剖析业务的 IO 行为是一套非常复杂的流程，尤其是分布式文件存储，文件存储须要实现一套规范 POSIX 语义的文件接口，丰盛的接口带来的困扰就是须要监控和剖析更多的 IO 操作类型，剖析的难度也就更大。对文件存储来说，咱们须要关注两类 IO，元数据和数据。元数据 IO 次要包含文件 / 目录的元数据操作，比如说 open/close/mkdir/rmdir/stat/unlink/revalidate/hardlink/rename 等，数据 IO 次要包含 read/write，在统计 read/write 的时候，还要统计对应的 IOPS 和 BW。遗憾的是，市场上罕用的文件存储产品和计划也很少提供方便的工具帮忙管理员系统地理解业务 IO 特点。
针对主动驾驶训练模型的 IO 特点，YRCloudFile 设计出多级智能客户端缓存，在最大范畴内进步了整个 IO 训练过程中的性能：
- 在客户端缓存过程中，由内存缓存 + GPU 服务器本地 SSD 缓存组成；
- 能够指定缓存大小和地位；训练程序先从客户端内存缓存中加载，未命中则从客户端服务器 SSD 加载，不命中最初从文件系统集群中加载；
- 对训练框架、应用程序齐全通明。
YRCloudFile 客户端多级智能缓存工作图
通过焱融 YRCloudFile 所提供的计划，可实现在整个训练中，数据集加载速度晋升 5 倍。
冷热数据难拆散
在主动驾驶训练过程中，难免会呈现冷数据，然而一旦冷数据过多，不仅会占用大量的存储空间，存储老本在总成本中的占比将会越来越高。如何无效升高存储老本的问题就摆在了许多用户背后。
目前，市面上泛滥的存储解决方案中，有一种办法是将冷热数据实现分层存储。在极大局部场景里，数据都能够分为“冷数据”和“热数据”。数据类型划分的准则是，依据工夫远近、热点 / 非热点用户等等。用户如果在一段时间内频繁拜访就定义为“热数据”，反之就为“冷数据”。如果数据类型不做划分，那么对存储性能和存储老本都会带来肯定的负面影响。
在冷热数据问题上，YRCloudFile 就思考到了这一点，抉择用文件存储系统目录级的智能分层性能来升高存储老本，进步存储性能。次要是通过“高性能文件存储 + 低成本对象存储”进行组合的形式，实现热数据仍然为人工智能等新兴业务提供高性能拜访的个性，而冷数据能够在用户现有低成本的对象存储中无效保留。
结语
主动驾驶时代的降临，让汽车变得更加简单，产品状态也将从新被定义。面对多样化的企业用户场景化需要，焱融科技将继续秉持着在存储畛域的业余技术和态度，以更多的姿势迎接主动驾驶时代商业化的降临。