最近 IT 剖析畛域的外围议题为大语言模型（LLM）机器学习和生成式 AI（GAI）。去年 11 月底 ChatGPT 聊天机器人的公布在寰球掀起了微小的波澜，一周内用户数达到 100 万，相似的根底模型利用如谷歌的 Bard 和亚马逊的 Titan 也同样掀起了热潮。
生成式 AI 具备了解文本申请并输入无效的答案的能力，无望利用于整个企业和公共部门的 IT 畛域，从而实现更好的搜寻和剖析品质。将来十年，AI 的广泛应用有可能取代或者进步各行各业常识工作者的生产力，诸如客服核心、外部销售人员、会计师、律师和金融分析师等职业。生成式 AI 热度的疾速升温将对整个 IT 行业产生影响，Forrester，Gartner 等分析师和钻研机构正在钻研和预测其后续冲击力。局部数据存储行业将凭借生成式 AI 获取微小的潜在销售收益。近日，在 William Blair 公布的《生成式 AI：自动化的新前沿》报告中，基于生成式 AI 的基础设施提供了全面的剖析，具体倡议如下：
硬件局部
DRAM：运行大语言模型用于训练和推理的 CPU/GPU 服务器需要日益凸显，包含用于 GPU 的高带宽内存 HBM。
PCIe：PCIe 4 和 5.0 组件供应商应该为需要激增的持续性做好筹备。
CXL：大语言模型将为 CXL 2.0 内存池提供强有力的反对，其中包含 CXL 硬件供应商，这意味着 DRAM 扩展器、CXL 交换机和其余组件厂商都将从中获益。
NAND 和 SSD：需要必将越来越多，关键点集中在 NVMe 拜访，PCIe 4.0 和 5.0 连贯以及性能和容量的组合。这表明 QLC 和高层数 TLC NAND 也将因而受害，所有 NAND 晶圆厂和 SSD 供应商都应该关注这方面的市场需求。
存储阵列：市场须要存储系统具备高容量和超高 IO 能力。AI / ML 集群将须要 PB 级别的容量，大语言模型训练的运行须要配合高速数据集读取和检查点写入，这须要硬件和软件可提供并行拜访，进行 LLM 推理的运行将须要高读拜访速率，并行数据传递门路至处理器。大语言模型的推理运行须要高读取访问率，以及到处理器的并行数据传输门路。对于 AI 大模型训练场景，应用全 NVMe 闪存并且反对 GPUDirect Storage 技术的分布式文件存储厂商能很好地适应市场趋势。
软件局部
专一于 CXL 的软件：MemVerge 和 Unifabrix 等供应商会看到其产品的热度将大幅持续上升。
数据分析：供应商须要抓紧时间引入大语言模型前端。
数据库、数据仓库和智能湖仓：供应商须要反对大语言模型所需的向量嵌入。向量数据库的反对将变得更加重要。为用户提供聊天机器人前端的需要曾经十分强烈，这将使非数据科学家和非资深的 SQL 用户可能运行简单的剖析。他们还有机会找到 ETL（提取，转换和加载）过程，将选定的数据疾速输入到大语言模型进行训练和推理运行。
数据管理：能够通过利用大语言模型技术来剖析本人的数据集，并为 AI 流程提供数据以扩充业务规模。
高速阵列：供应商能够将本人的软件迁徙到运行生成式 AI 模型的私有云上，借此反对那些采纳本地混合云 / 私有云形式来运行大语言模型的客户。
横向扩大并行文件系统：局部供应商在这方面处于无利位置，其现有客户正在利用生成式 AI 技术，新客户则迫切需要疾速、大容量的文件拜访软件，因而这部分业务的空间同样相当可观。
间接受益者方和未受影响方状况
云文件服务供应商：这类厂商能够应用云端存储的数据集为大语言模型提供数据，但数据将须要从其底层对象库转移至更快的拜访存储介质，相似于某种模式的 ETL。但也不排除云服务商会提供相似于 GPUDirect 的形式，将数据从 S3/Azure Blob 等间接传递至 GPU 实例。
数据编排器：帮忙客户编排大语言模型所须要的数据，借此获取间接收益。
磁盘驱动器阵列：这类产品迭代速度太慢，只能作为闪存主存储的主要存储应用。
生命周期治理：供应商须要钻研聊天机器人界面如何帮忙用户进步工作效率。
平安供应商：聊天机器人和其余人工智能技术在检测和响应恶意软件以及解决用户交互方面更无效。
软件定义存储: 在生成式 AI 的浪潮下，软件定义存储供应商须要满足高性能拜访需要才有可能分得额定业务空间。
磁带零碎：归档零碎太慢，无奈与大语言模型提供数据，但在市场上仍有其生存空间。
Web 3：此类存储速度太慢，在大语言模型的世界中没有太大施展余地。
以上信息在 William Blair 公布的《生成式 AI：自动化的新前沿》报告中，总结关键点即 ChatGPT、大语言模型给基础设施带来很大的变动。训练巨量模型须要微小的算力，随着数据集和模型规模一直减少，应用程序载入数据所破费的工夫变得越长，进而影响了应用程序的性能，迟缓的 I/O 重大连累 GPU 的弱小算力。如何大幅晋升 GPU 载入大型数据集的速度将是计算和存储系统独特面临的挑战。焱融科技是最早进入 AI 畛域的分布式文件存储厂商，在 AI+ 行业场景有成熟的落地教训。也正如报告所预测，焱融科技敏锐地把握市场趋势，其基于软件定义存储自主研发的文件存储系统 YRCloudFile 早已实现对 NVIDIA GPUDirect Storage（GDS）适配，实现以间接内存的存取形式，将数据传输至 GPU 内存上，可能更好地治理数据门路，使数据在应用程序和存储之间通过更短、更无效的门路传输，显著升高 I/O 提早，晋升数据带宽，使反对 GDS 的应用程序可能充沛开释 GPU 计算能力，为人工智能和机器学习（AI/ML）以及数据分析等业务减速。
近日，赛迪参谋重磅公布《中国分布式存储市场钻研报告 2023》，报告中对焱融科技分布式存储产品 YRCloudFile 的评估如下：
焱融科技自研的通用分布式文件系统 YRCloudFile 既具备传统并行存储的高性能，又可作为企业要害业务和新兴业务需要的存储系统。在 Al、智能汽车、高性能计算等畛域具备较强实力，行业竞争力突出。
作为企业级存储，提 供 DataLoad、冷热数据主动分层、大数据反对等数据全生命周期治理性能和计划; 反对 200Gb/400Gb Infiniband 网络及 NVIDIA GPUDirect，产品性能行业当先。
2022 年，焱融追光全闪文件一体机单存储节点达到 40GB/s+ 带宽和 200 万 + IOPS 性能，并利用于人工智能、智能汽车、智能制作、教育等行业生产环境中，为 AI、大模型训练、企业级用户构建高性能存储平台。
本文观点援用报告原文：
https://blocksandfiles.com/2023/05/25/chatgpt-llms-and-storage/
举荐浏览
国内首发|焱融科技 YRCloudFile 反对 NVIDIA GPUDirect Storage（GDS）
焱融科技公布国内首个 NVIDIA DGX A100 + 全闪存储参考架构白皮书
为 GPU 而来，焱融科技推出新一代全闪分布式文件存储产品
焱融全闪 X NVIDIA InfiniBand：打造 AI 时代 GPU 计算的高性能存储技术
智谱 AI 联结焱融打造 A100+ 全闪存储的大规模 AI 架构