共计 4359 个字符，预计需要花费 11 分钟才能阅读完成。
高性能计算的外围是什么？
这还用说，必定是计算了。是的，许多人都会这么认为。
看看每年两届的 TOP500 榜单就会发现，现在最强的超级计算机曾经可能实现每秒钟 44.2 亿亿次 (442010 TFlop/s) 的计算效率，向着百亿亿次的指标进一步迈进。
而随同着异构计算越来越多的利用，包含传统 HPC 和新兴的人工智能都开始大规模的采纳异构计算形式，包含 GPU、FPGA、ARM 等诸多架构芯片的呈现，也让整个计算市场呈现出“百花齐放”的情景。
同样的状况也呈现在网络层面。与许多人印象中 HPC 应用 InfiniBand 网络不同，来自 TOP500 榜单的信息显示以太网仍然有十分高的占有率，100G 网络曾经是以太网的“标配”；而在重视传输效率和低提早的 InfiniBand 网络中，200G 的 HDR 规范曾经成为支流，甚至 Mellanox 公司还在不久之前的 SC20 大会上发表了 400G 的 NDR 产品，其范畴更是波及了网络应用的全畛域，包含网线在内。
从这个角度来说，高性能计算的倒退堪称是突飞猛进，从计算到网络的变动使得数据的解决和传输越发效率，但就是就在这样飞速发展的状态下，咱们仿佛遗记了另一个重要选项——存储。
存储对于高性能计算有多重要？
以往在谈到高性能计算的时候，咱们总是在意计算的速度，因为那时候计算能力还有显著的有余；而现在，异构计算的呈现让计算效率呈指数级晋升，而高速网络也让这些计算成绩让数据自身可能施展更大的价值……
但这时候咱们发现，许多利用中存储成为了瓶颈。
比方高性能计算传统利用之一的 生物基因工程。记得从上世纪 90 年代开始，电视、书本上都是铺天盖地的“人类基因组打算”、“克隆”、“生物芯片”等等内容，甚至过后的北大副校长陈章良博士更说出了那句名言——“21 世纪是生物学的世纪”。尤其是近年来 PD- 1 信号通路的发现（使得人类在战败癌症的路线上更近了一大步）、诱导多能干细胞 iPSC 技术和基因编辑技术 CRISPR（使得 I 型糖尿病无望失去根治）等泛滥科研成果都证实了生物工程的重要性。
与大多数人印象中的生物实验室不同，现在在高科技的加持下，影视剧中那种试管、烧杯的场景曾经逐步被高性能计算机所代替，“高科技模仿”曾经成为了生化试验的重要组成部分。
以国内驰名的基因公司——华大基因为例，这个为寰球基因倒退提供重大贡献的公司领有数百台测序仪，由此每月产生的数据高达 300TB-1PB。如此一来，仅仅是存储这些数据就是一个让人头疼的问题，更何况还须要对数据进行后续的剖析和利用。这其中动用的存储资源堪称是“天文数字”。
另一个十分依赖于存储的就是视 频剪辑与解决。其实随同着短视频利用的春风，现在许多人都能够在抖音、快手等平台拍摄本人的视频，由此也让更多人接触到视频解决是一个如许消耗存储资源的工作——4K 甚至 8K 视频的超高分辨率在为咱们带来视觉盛宴的同时，也对后端的存储设备造成了压力。
据报道，2016 年的里约奥运会上就是用的 8K 视频报道赛事，录制 20 分钟未经压缩的超高清视频，足足占用 4TB 的贮存空间。
容量带来的难题能够通过减少存储设备来解决，但更重要的是存储效率。为了满足 4K/8K 视频的贮存工作流程，除了须要足够大的存储空间外，其设施还要具备较高的可扩展性和较高的性能，以满足读写效率，而这就给 4K/8K 的存储带来了更高的难度。
同样，在电影行业，从《大圣归来》到《漂泊地球》，再到去年国庆节后播出的《金刚川》，其中视觉冲击力的特效成果，展现出渲染开始助力中国电影工业倒退，给影视作品的制作周期、制作老本和制作的便利性等方面带来很大变动。
特效渲染作为高性能计算商用化的一个重要场景，一部特效电影制作的工夫，除了破费在拍摄上，其次就是等特效，而制作特效的次要工夫破费在渲染上，在渲染前，须要有容量大的存储设备存储数据，而在渲染过程中，须要大量的数据处理工作能力生成最终输入，也就是须要高性能的存储，肯定意义上来说，算力和存储、云渲染正在成为中国电影工业重要的组成部分，促成中国电影工业疾速倒退。
业务场景不一样，对于存储的需要也不尽相同，无论是科研畛域还是全新的智能视频，都对于存储设备带来了全新的要求和挑战，也须要存储产品自身可能有所突破。
恰好是看到了存储在高性能计算中重要性的逐渐加深，自 2017 年 11 月开始，每年在美国的 SC 和德国的 ISC 大会上除了公布赫赫有名的 TOP500 榜单之外，还会公布一套名为 IO500 的榜单，这份榜单也在逐渐成为存储行业的性能“风向标”。
将来的存储平台该是什么样？
如果说 TOP500 是计算性能排行榜的话，那么 IO500 则是针对存储系统性能的排名表。
始终以来，性能存储系统的基准性能测试是一项简单的工作，并行 I / O 不仅受 CPU 提早性能和网络的影响，还受底层存储技术和软件的影响。不同厂商公布的性能测试后果，往往因为测试方法、工具、参数甚至测试步骤的先后顺序不同，而具备较大的差异性。
所以 IO500 呈现了。作为国内权威的评判规范，IO500 定义了一个全面的基准性能测试套件，能够对高性能存储系统进行规范的测试和比拟，旨在为用户提供一个规范的评估根据。
具体说来，规范的 IO500 的测试基准利用 IOR、MDTEST 和规范 POSIX 来对可优化的程序 IO、随机 IO 以及元数据操作等类型的工作负载进行性能评估。
IO500 包含带宽和元数据两项基准测试，将两个我的项目的总分进行几何平均后，得出最终分数。
而在表现形式上，这些问题分为总榜单及 10 节点榜单两大类别——其中，10 节点榜单将因为更靠近于理论并行程序可能达到的规模，更能反映存储系统可为理论程序提供的 I / O 性能，参考价值更高。
咱们晓得，现在绝大部分高性能计算利用都是基于 POSIX 协定而设计的，因而 IO500 采纳的规范 POSIX 接口也能够最大限度施展存储存储高带宽、高吞吐量、低提早的利用需要。
换句话说，IO500 可能以靠近实在利用的状况体现零碎存储性能差别，毕竟，HPC 的实在模型简单，须要存储同时具备高带宽、杲 OPS 交融、协定交融等能力，因可能进入 IO500 甚至在榜单取得当先的，肯定是存储畛域的佼佼者。
因而，别看推出的工夫并不长，然而在参与者的踊跃度和竞争的强烈水平上，IO500 绝对于 TOP500 来说则是有过之而无不及。
存储系统绝对于计算零碎的独立性，基于 RUST 的高可扩大并发拜访、大粒度数据缓存 & 旁路拜访、数据拜访 & 落盘流水化、零拷贝极速 RPC 解决技术等翻新优化办法，在 NVME-SSD 的反对下性能被施展到了最大。
纵观当下的存储市场，多种存储协定的并存始终是困扰用户降级与迭代的难题。绝对于传统的文件存储、块存储来说，现在热门的对象存储更适宜非结构化数据和智能化利用的需要，即使是在 POSIX 协定当道的高性能计算存储利用中，对象存储也能凭借便捷的操作占据一席之地。
比方视频特效渲染行业，应用对象存储存储海量的视频素材，便于前期实时查问和调用数据。因而，对于用户来说，谁可能实现多种存储协定的共存、无效治理和便捷化数据处理，谁就可能在将来的存储倒退中占据先机。
除了多协定共存之外，多协定互通也同样是整个行业关怀的问题。罕用的分布式并行文件系统有 lustre、gpfs、gluster、isilon onefs 等，对象存储则是 ceph、cleversafe，除此之外，还波及 SMB、CIFS、NFS 等多种数据拜访协定；比方 NAS 就是常见的多协定互通的典型。
前文提到提到的生物基因检测，现在借助于大数据、人工智能伎俩，曾经可能实现智能化的检测规范，整个产业也呈现出个人化的偏向。但随之也带来数据互通性的问题，比方分布式架构的数据如何与传统测序仪或工作站的协同。
还有当初最热门的智能驾驶就是如此。日前，特斯拉 CEO 埃隆马斯克在一档采访节目中提到将在 2022 年实现 L5 级智能驾驶，这也意味着车辆曾经齐全代替驾驶员，实现真正意义上的、咱们在影视剧中看到的那种“主动驾驶“。
主动驾驶分为 L1-L5 不同的等级，在 L5 级别下，当前的汽车将成由座驾转变为座舱，任何条件都能够实现智能电脑管制车辆，当然了，车主也能够进行操作。
但这必须要解决数据协同性的问题。始终以来，主动驾驶都是须要路采车辆上的传感器采集海量的路测数据，并基于解决后的数据进行重复的 AI 训练和仿真，让汽车能智能地辨认和解决各种路况和障碍物，从而实现主动驾驶。
这其中包含数据的采集和导入、数据在本地化的预处理、AI 模型的训练最终到 HPC 的利用仿真，并通过仿真来领导车载 AI 零碎进行智能化判断，推动程序的降级与迭代。
图注：主动驾驶研发流程
主动驾驶训练的不同阶段，应用的拜访协定也是有很大差别的，要想晋升流程解决效率，须要存储反对多种协定的互通，缩小数据拷贝，以当下支流的 L2-L3 主动驾驶为例，每车每天产生的数据量曾经达到 2 -64TB，随同着汽车行驶里程的晋升，其产生的数据量就曾经达到了 PB 甚至 EB 级的规模。
而在 L5 级主动驾驶中，数据传输与计算量甚至能够达到一个“天文数字”，也就须要包含车载处理器、后端数据中心在内的一体化计算形式，通过车联网和 5G 网络实现疾速传输和相应。
换句话说，在主动驾驶的利用场景下，车载零碎将进行大规模的数据计算与解决，既有高带宽的性能要求，又有高 OPS、低时延的性能要求，海量数据之间也会呈现跨零碎的协同交互。
这也就须要将来的高性能计算零碎既可能同时满足高带宽 & 高 OPS 需要，又能防止不同流程阶段应用不同架构的存储而产生的数据拷贝冗余，因而多协定互通就成为了必然的抉择。
由此看来，要想晋升高性能计算的存储性能，必须突破原有边界，让平台可能承接用户的各种状态的数据，实现多协定下的数据流动，这样能力实现对立存储资源管理，突破硬件锁定，数据能够在资源池中平衡散布，简化长久爱护设计，不同业务零碎能够共享存储，还能够通过集约化升高存储老本，防止反复建设多套零碎，全面挖掘既有数据的潜在价值。
始终以来，咱们在迈向百亿亿次计算的路线上面临泛滥的挑战，访存墙问题、通信墙问题、可靠性问题和能耗墙问题并成为四大难题，这其中“访存墙”问题就须要将计算、存储、I/ O 的速度实现匹配均衡，从而在体系结构的设计上实现性能平衡。
因而，将来高性能计算的存储就须要实现多协定的兼容、多协定架构的互联互通和智能化的治理。
换句话说，高性能计算倒退到明天，计算能力的飞速晋升和网络数据的高带宽低提早都曾经进入了新阶段，与之相适应的就是存储利用也实现海量可扩大与智能化的数据管理。
对于传统高性能计算利用来说，无论是生物基因、高能物理还是流体力学、视频解决等等多种科研利用都会利用到海量数据，而晋升数据的存储空间和利用率就可能更好的晋升高性能计算的倒退。
是时候为百亿亿次计算 时代抉择全新存储平台了。（文章转自 DT 时代，鸣谢）
