关于自动驾驶:效率提升-100YRCloudFile-让自动驾驶安全更有保障

16次阅读

共计 2875 个字符,预计需要花费 8 分钟才能阅读完成。

以后,汽车产业正向智能化、网联化、电动化、共享化的“新四化”趋势不断深入倒退。平安作为智能网联汽车继续衰弱倒退的前提,智能网联汽车平安体系的外延和内涵也在一直发生变化,性能平安、预期性能平安和信息安全形成了主动驾驶体系的平安因素。

主动驾驶平安如何保障?

在过来二十年里,汽车翻新次要集中于硬件方面,比方内燃机效率、感应雷达降级等等。随着汽车的电动、联网和自动化飞速发展,主动驾驶也有了清晰的布局。然而,目前寰球的主动驾驶尚未齐全落地,其中安全性未达到“完满”是最要害的因素。

对于主动驾驶而言,晋升安全性的外围就是感知和决策。感知是应用多种交融的传感器来感知路面、车辆和行人,如果车辆对环境没有三维定量感知,那么就像人失去双眼;决策是应用感知到的信息来判断如何口头。为此,感知和决策缺一不可。

目前,解决感知问题最次要的形式是“数据训练”,主动驾驶制造厂商通过监督学习的形式将大量不同状况的训练数据提供给算法,让生成的模型具备普适的感知能力,从而帮忙主动驾驶车辆更好地感知理论路线、车辆地位和障碍物信息、疲劳检测等等。

那么,如何更好地晋升感知能力,达到精确决策的需要呢?今日,咱们将以某家次要以人工智能为外围的商用车平安及信息化解决方案提供商(以下简称:提供商)为案例,通过深度解析该提供商基于人工智能技术技术的两个性能,剖析如何利用数据和技术晋升主动驾驶安全性。

两大性能,让危险在 2.7s 前预知

现今,该提供商次要基于人工智能技术实现了两大性能:FCW 前车碰撞报警零碎和 LDW 车道偏离报警零碎。

FCW 前车碰撞报警零碎,次要通过指标检测和回归算法,精准定位行驶区域中的车辆地位信息,搭配测距和建模体系以及车道线感知信息,能够实时监控驾驶中的碰撞危险,实现在危险产生前 2.7s,及时收回报警信号,无效防止车辆追尾等交通事故的产生,纠正司机跟车较近和超速驾驶等危险行为。

具体实现形式是通过扫街的形式从实在的交通场景中采集数据做模仿仿真测试,因而该零碎对于动态路线、交通标识牌、各种交通参与者(行人、自行车、摩托车、施工牌等等)、车辆交通流状况、红绿灯设置、天气状况、路面光照等各种简单的状况和路况数据量要求极高。

LDW 车道偏离报警零碎,通过通过语义宰割算法,辨认以后行驶区域的车道标识线,再利用计算机视觉技术解决,当车速大于 50km/h,驾驶员有意识偏离车道时(司机未打转向灯),零碎发出报警,提醒驾驶员注意安全驾驶。采集回来的路线数据,通过高性能存储无效帮忙主动驾驶企业晋升算法、效率、品质的计划,进一步降级车辆报警零碎。

从技术角度来看,两个零碎次要采纳了人工智能对数据的解决和计算,而深度学习想要实现简单的学习过程还须要实现两个过程:

  • 大量的数据训练:深度学习极度依赖数据挖掘技术,耗费产生大量、无效的训练数据;
  • 优化算法:深度学习须要通过简单的神经网络找到最好的模型,用于剖析新的数据。

而实现深度学习的过程中,整个全场景业务,包含回放、标注、训练、测试等,对于底层存储的要求很高:

1、高性能网络兼容

目前,基于 GPU 的高性能计算业务蓬勃发展,高性能成为不少企业谋求的指标,这次要是因为高性能间接决定了业务效率。

倘若一个业务的须要从 1 周缩短到 1 天实现,这次要须要依附整体 IT 撑持架构的高性能,以及存储内数据流转效率。其中,如果 GPU 计算和高性能存储的连贯,次要依附高性能网络的反对,那么只有兼容全栈网络,或者为数不多的高性能网络,能力在 IT 建设中有更多抉择。

2、对于 GPU 高性能业务的反对

基于 GPU 的高性能业务在数据拜访和解决以混合状态为特点的数据如下:

  • 以读为主,小文件程序读,或大文件随机读;
  • 每个训练集由数千万小文件组成,数据量在几百 GB 到 TB 级别;
  • 每次训练由多个 epoch 组成,每个 epoch 会将文件加载程序打乱,但读取的数据没有变动。

3、反对大规模并发

存储反对计算服务器的并发数不是一个定值,而是依据不同的存储系统决定。行业惯例存储并发是几十台的规模,在小工作状况下,可能看不出效率高下,然而在大业务压力,或者紧急任务状况下,原先的并发量就难以撑持当前情况,疾速实现工作要求。

4、零碎业务连续性

存储可靠性解决了数据“不丢”的问题,在“不丢”的根底上想要更上一层楼,那就要做到业务不中断。

在肯定的工夫内,业务不关怀底层 IT 架构是否故障,业务不能中断,这间接体现在业务上就是工作在打算限期内实现,不延期。

最懂客户需要的存储,效率和平安两手抓

基于该提供商对底层存储需要,焱融科技从 2021 年下半年开始,就技术利用计划和落地措施进行了屡次的交换和理论场景测试。客户全面调研焱融产品后,示意满足客户需要。

1、针对主动驾驶场景的存储 IO 性能优化

针对训练模型的 IO 特点,焱融科技开发出多级智能客户端缓存,极大地提高了整个 IO 训练过程的性能。多级客户端缓存特点如下:

  • 次要通过“内存 + GPU 服务器 SSD”的形式进行缓存;
  • 在 GPU 服务器上,可配置肯定容量的 SSD 缓存;
  • 不同环节的加载地位不同。比方训练程序从客户端内存缓存中加载,未命中局部从客户端服务器 SSD 加载,不命中局部从文件系统集群中加载;
  • 对训练框架、应用程序齐全通明;
  • 在整个训练中,数据集加载速度晋升幅度超过 500%;

2、反对 RDMA 协定

随着大数据平台和 AI 的业务零碎呈现,对后端存储高并发、海量非结构化文件解决能力的要求越来越高。在连贯计算和存储的网络上,YRCloudFile 反对全栈网络,不固定于某一型号网络设备和协定,反对以太网和 InfiniBand,从千兆环境到 200Gb,反对全副支流网络硬件型号,可全面笼罩现有行业所有网络要求。数据传输的网络带宽也是由 1Gb、10Gb,逐渐降级为 400Gb。YRCloudFile 的性能也是通过 RDMA 协定在 InfiniBand 网络中失去了更好的施展。

3、小文件性能优化

在海量的文件场景下,YRCloudFile 能很好地撑持业务运行,依靠于分布式元数据横向扩大架构、虚拟目录、动态子树和目录 Hash 等技术,在 0-100 亿级别的海量文件背景下,文件操作性能以及文件的读写性能十分安稳,这决定了在海量的场景下,YRCloudFile 仍然可能撑持下层利用,远远优于其余开源产品和商业存储产品。

4、存储系统保障业务连续性

YRCloudFile 采纳了分布式架构,存储挂载至计算集群,实现对立门路挂载,存储节点均摊压力和数据落点,在存储节点故障后,不影响数据逻辑门路,业务无感知底层存储变动,仍旧失常工作,满足存储节点故障业务不中断要求,最大化保障业务排期失常运行。

通过推动主动驾驶存储架构降级,该提供商取得全面兼容的网络,反对双网络业务,实现 InfiniBand 网络对接训练业务,万兆网络对接标注业务,以及反对高并发业务,让千人在线业务标注无发愁。该提供商存储系统降级的胜利,为相似主动驾驶厂商在面临雷同存储问题时,给出了解决问题的参考形式。焱融科技也通过不懈努力,放慢了主动驾驶行业的基础设施建设步调,在保障训练效率晋升 100% 的根底上,让主动驾驶车辆安全性从训练过程中逐步进步。

正文完
 0