关于人工智能:全面解读自动驾驶数据存储关键

47次阅读

共计 2633 个字符，预计需要花费 7 分钟才能阅读完成。

随着计算、存储以及网络等技术的一直倒退，数据存储形式开始一直变动。对于须要大量数据的业务利用来说，服务器内置存储空间，或者说内置磁盘已不足以满足存储须要。

因而，在内置存储之外，服务器须要采纳外置存储的形式来扩大存储空间，比方集中式存储和软件定义存储。前者即指通过一个或数个固定的盘阵控制器，连贯几个磁盘柜的形式，由盘阵控制器作为数据拜访入口，为应用服务器提供数据拜访；后者是将所有存储相干的拜访和管制工作都以软件的形式，部署在多台一般服务器上，利用能够通过网络拜访这些内部服务器上的数据。

绝对于前者，软件定义存储因为更好的横向扩大能力、软硬件解耦、更高可靠性和可用性，被越来越多行业和利用所承受。目前，国内从事软件定义存储的厂商不少，其中就包含了焱融科技。焱融科技成立于 2016 年，专一于软件定义存储技术的研发，数年的工夫便创下不菲的问题，如 2020 年，焱融科技不仅获取了国内软件定义存储首个海内客户，还实现了客户靠近 400%，年销售额 300% 以上的增长。

那么，焱融科技是如何做到这样高速倒退的？其中 YRCloudFile 功不可没。

YRCloudFile 是焱融科技推出的一款非结构化数据对立存储平台，它能够在私有云、公有云环境下为客户提供高性能、高扩大以及云原生的非结构化数据存储系统；推出后不久，便一举斩获了 IO500 世界存储性能挑战的第六名。

焱融科技产品总监黎俊鸿示意，YRCloudFile 是通过继续的企业 / 用户访谈、技术交换、全面测试以及版本迭代推出的分布式存储产品，其外围特色是产品的高性能个性，借助这一个性，YRCloudFile 能够为人工智能、主动驾驶畛域中的训练环节，以及高计算环境中的数据加载运算阶段提供高速、稳固的数据拜访能力。

图：YRCloudFile 产品构架图

黎俊鸿通知记者，YRCloudFile 有 3 大次要特点：

海量小文件下的高性能，采纳元数据节点集群化、多级智能缓存、智能预读等多种技术，深度优化海量文件读写性能、目录拜访热点等问题；

云原生容器存储，提供了规范 CSI 接口，反对 PV 配额、Resize、QoS，别离从容量、IO 性能下来对存储资源做了隔离与布局，通过 PV Insight 帮忙管理员查看存储卷外部数据分布和冷热状况；

反对私有云 / 混合云，YRCloudFile 能够在阿里云、腾讯云、AWS 等私有云上实现一键部署，在私有云上提供高性能的文件存储服务，并通过冷热数据分层性能使数据在不同层级之间流动，从而升高存储的总体领有老本。

因为性能优异，YRCloudFile 目前已被百余家客户利用于生态环境中，包含中国移动、科大讯飞、图森将来、新石器、MORE VFX、树根互联、中国银行等行业头部企业，波及人工智能、主动驾驶、影视渲染、IoT、金融等多个利用场景。

在主动驾驶这一畛域，焱融科技已和图森将来、新石器等厂商达成了单干，为其提供数据存储服务。

黎俊鸿通知记者，主动驾驶属于人工智能中的垂直细分畛域，蕴含了采集、标注、计算等环节，只有通过这些环节造成一个模型，能力确保主动驾驶的落地。然而，随着越来越多的雷达、摄像头等传感器被部署在车上，各个环节的工作量一劳永逸，尤其是一些高性能主动驾驶汽车对数据的存储需要更是微小，一天生成的数据量便可达 8TB 左右。

图：基于 YRCloudFile 高性能分布式文件存储的主动驾驶开发周期结构图

因而，如何高效，稳固地保障主动驾驶过程中收集到的大量数据能疾速造成主动驾驶的计算模型成了主动驾驶企业 CTO 们关注的重要问题。焱融科技推出的 YRCloudFile 分布式存储产品便可解决训练过程中数据拜访效率的问题。

据黎俊鸿介绍，以后，主动驾驶畛域的训练过程中，面临着数据拜访性能的瓶颈问题。“主动驾驶汽车中的传感器会收集行驶中的数据，待数据收集完后，会以各种模式寄存到数据中心，服务器在获取数据时，因为存储系统提供的访问速度跟不上 GPU 解决数据的速度，导致 GPU 呈现闲置景象，进而影响整个自动化训练的过程和效率，造成 GPU 资源节约，而 YRCloudFile 的定位便是解决自动化驾驶训练过程中的数据寄存和应用的问题”。

黎俊鸿认为，YRCloudFile 的次要作用在于充分发挥 GPU 的计算能力，在短时间内为 GPU 提供足够的数据，让 GPU 进行充沛计算，“比方，应用焱融科技 YRCloudFile 的存储平台，每秒能够为 GPU 提供获取 5GB 到 10GB 的数据，极大地提高了 GPU 拜访数据的效率。在主动驾驶畛域中，主动驾驶性能的最终造成肯定是通过大量的训练。YRCloudFile 的作用便是在大量的训练中，缩小每个轮次的训练工夫，使得主动驾驶模型上市的工夫能够提前，这就是 YRCloudFile 能为主动驾驶企业带来的外围价值。”黎俊鸿示意。

YRCloudFile 的分布式存储技术目前已被大量企业认可，包含政府、金融、教育、医疗等多个机构。据黎俊鸿介绍，与传统式存储办法相比，分布式存储技术最外围的劣势便是解决了以后数据存储中的两大挑战问题。

即通过分布式存储软件，将云平台中的并发存储拜访扩散至分布式集群的各个节点，满足云平台上客户端的存储拜访性能需求；分布式软件可程度扩大，使单集群容量实现按需扩容，解决传统存储单套设施容量下限问题。这两个劣势，使得分布式存储技术在云环境及数据规模大的场景下，失去大量利用和倒退。

对于分布式存储技术，黎俊鸿示意看好，并示意其有可能是将来存储技术的支流倒退方向。据他介绍，将来存储技术的方向会朝着性能适配性和场景优化性进行冲破。

“首先将来存储技术肯定会适配更多新型部件，包含品牌、网络、架构等，这意味着产品须要适配更加卓越的数据处理能力，因而如何施展新型部件性能，是下层存储技术供应商必须要做出改良的。其次，从倒退的角度，将来存储技术只有针对某些垂直场景进行优化，能力更好地布局该场景。比方目前的主动驾驶、人工智能、视频渲染等畛域，只有从存储的角度去了解、瞄准该畛域的特点进行优化，能力更好倒退。”

现阶段，焱融科技正处于疾速倒退期间，将来，为了一直适应各行业对于数据存储的须要，焱融科技会继续进行产品迭代，扩大容器利用、混合云存储、对立非结构化数据管理、Data Lakes 等场景利用，减速对劣势场景笼罩。同时，进一步增强国际化，增强软件订阅模式的推广以及放弃 3 倍的销售额增长。

正文完