关于高性能:如果说数据是推动自动驾驶的原动力那么存储扮演什么角色

6次阅读

共计 2139 个字符,预计需要花费 6 分钟才能阅读完成。

近年来,互联网、IT 技术正在带动整个汽车产业迎来粗浅改革。在此之前,信息技术帮忙汽车行业实现了设计、供应链、营销等体系的数字化和互联网化。在传统汽车厂商进行数字化转型的同时,新能源汽车、车联网、主动驾驶等新技术衰亡,特斯拉、蔚来、现实、小鹏等新厂商涌入汽车制作行业,汽车行业竞争愈发强烈,十年内实现全自动或“无人驾驶”汽车,成为了传统汽车制造商、新兴汽车制造商、业余主动驾驶解决方案供应商独特抢夺的新的技术制高点。

旨在加强乘客、车辆和路线安全性的主动驾驶,对汽车设计和制作过程的 IT 基础设施(尤其是存储系统)提出了革命性的新要求。

01 主动驾驶数据处理流程

主动驾驶是人工智能,尤其是视觉辨认及自动化在汽车制作及运行畛域的细分利用。主动驾驶与视觉辨认的数据处理流程有肯定水平的相似之处,都是通过对海量数据的收集、特征分析、训练、验证,最终造成一个高度精准的数据处理模型,用于应答理论路线中实时变动的路况信息,从而实现主动驾驶。

数据收集

AI 外围算法是主动驾驶的发动机,数据是 AI 引擎最不可或缺的燃料。测试车辆上携带的摄像头、声纳、雷达、LIDAR、GPS 以及更先进的传感器设施,能够捕捉大量包含视频、图像、天气信息等信息在内的原始非结构化数据。

Figure 1: 开发和验证主动驾驶的典型数据处理流程

模型训练和开发

数据准备就绪后,主动驾驶工程团队应用来自所有传感器、GPS、天气、路线、环境等多因素交融的数据,提取数据特色,并联合这些数据特色下的正确行为,通过深度学习和迭代,取得主动驾驶中的模型和参数,造成初步的主动驾驶模型。

验证和测验

工程师通过在软件环境、汽车理论硬件环境上构建充沛的测试用例,对主动驾驶模型进行全方位仿真和理论测试,以期涵盖所有可能的路面状况。并将电子管制单元 ECU 所做的判断和决策与测试司机实际操作进行比照,二者差别视为主动驾驶模型潜在的 bug,进而对模型进行修改。

归档

通过最终验证后,工程团队将主动驾驶的测试数据移至低成本的归档存储中。归档数据必须满足法定的监管要求,这些已经应用的测试数据可能须要保留数十年,以防在召回的状况下,对数据进行从新验证和计算。

02 主动驾驶数据处理面临的挑战

主动驾驶数据处理过程须要 PB 级的高性能存储。随着数据量的增长,传统存储架构的局限性和有余将被放大,越来越难以漠视。

爆炸性数据增长

因为安全性对主动驾驶零碎至关重要,因而主动驾驶对设计制作过程中所经验的测试数据量要求很高,随着主动驾驶水平的增高,所必须的测试数据需要会成倍增加。在汽车工程师协会(SAE)定义主动驾驶的六个级别中,SAE 2- 3 级通常要求测试车辆累计收集 20 万至 100 万 km 的实在路测数据,用于主动驾驶软件开发和验证。SAE 4 级将须要 200 万 + 公里的数据,随着行业向 SAE 5 级(全自动驾驶汽车)倒退,这一数据需要将减少到约 2.4 亿公里。

采集、寄存并剖析这么多里程的传感器数据,对于主动驾驶中的存储系统而言是微小的挑战。以一个典型的 SAE 2 级主动驾驶我的项目为例,以 75km/ h 的平均速度收集 20 万 km 里程,将生成 2,666 个小时的数据,单个传感器须要大概 3.8PB 的存储空间,而主动驾驶测试车辆中须要有多个传感器。SAE 3 级主动驾驶我的项目须要收集百万公里的数据,意味着传感器将生成 19.3PB 的原始数据。

大规模环境下的拜访性能

随着无人驾驶汽车向 SAE 更高级别倒退,存储的架构必须可能满足一直增长的性能需求。主动驾驶开发和验证零碎须要存储系统在确保存储容量能无缝扩大的同时,各个数据处理流程中在加载数据时,不存在加载速度瓶颈。

数据筹备阶段波及十分密集的数据预处理,用于读写原始视频数据和传感器二进制文件,这对存储系统提出了高带宽要求。而在训练过程中,AI 训练须要解决海量的小文件(视频或图片),为了保障训练 GPU 处于满负荷运行的状态,存储系统须要提供足够的小文件拜访带宽和足够低的延时。此外,主动驾驶训练集群通常由几十甚至数百台 GPU 服务器组成,确保大规模的计算集群对数据的并发拜访晦涩,也是对存储系统的必要要求。

海量数据存储的总体老本

只管对主动驾驶数据保留的年限尚未造成国际标准,然而大多数汽车制造商要求主动驾驶数据必须保留数十年。如何高效、低成本地保留这些海量数据,同时保障下层利用无感知、高性能地拜访,是汽车制造厂商在存储架构面临的又一挑战。

03 如何应答主动驾驶数据存储挑战

YRCloudFile 是焱融科技面向云 + AI 时代的新型分布式存储产品,其卓越的性能、灵便的程度扩大能力能帮忙主动驾驶、人工智能等业务显著晋升效率;通过智能分层技术,使数据生命周期失去更精细化的主动治理,极大地升高数据存储老本。

YRCloudFile 横向扩大架构非常适合主动驾驶开发和验证场景,可在一直扩大的单个命名空间中提供数百 PB 级的存储容量。YRCloudFile 可通过 10/40/100GbE 或 InfiniBand 网络进行连贯和横向扩大。YRCloudFile 可通过纯软件形式,部署在规范服务器上,缩小汽车制造商对传统存储厂商特定存储设备的依赖。

目前焱融科技已胜利与科大讯飞、依图等国内出名 AI 公司实现单干,并且在 2020 年获取了国内软件定义存储首个海内客户,实现了产品的国际化。

正文完
 0