当下，热火朝天的 AI 大模型对算力和数据存储提出了更高的要求。在 6 月 1 日完结的“阿里云峰会·粤港澳大湾区”上，阿里云智能资深产品专家彭亚雄在 AI 新范式与商业翻新论坛上做了《云存储，为 AI 翻新提速》的主题分享。彭亚雄认为，在 AIGC 大模型的浪潮中，云存储作为数据基础设施，将在数据筹备、训练与推理、利用部署、内容审核与协同等多个关键环节，施展重要作用，助力 AI 翻新减速。
一、AIGC 继续炽热，存储系统面临大考
以后，AIGC 曾经成为新的热点，很多人认为，AIGC 将会大幅晋升整个社会的生产效率。这外面，一些很有意思的趋势正在产生。
首先，是获取大模型的老本开始大幅升高。以 GPT 3.5 为例，一千个 Token 的价格大略是 0.002 美金，这意味着 ChatGPT 输入 100 万个单词文本，破费不到 3 美金。基于如此低廉的老本，公众获取大模型能力的门槛在疾速降落，这无疑有助于应用层的继续翻新。
其次，杀手级利用（Killer App）将继续涌现，将来在社会生产中的每一个环节、每一个 APP 都有机会接入 AI 大模型进行降级革新，不仅能够大幅升高内容创作的门槛，同时也会继续晋升内容创作的速度。海量高质量数据的生产效率，将会晋升到一个前所未有的高度。
再次，高质量的数据将是大模型继续迭代的外围因素。家喻户晓，算法、算力、数据是 AI 的三大基石，而存储作为 IT 基础设施中的重要一环，实质是数据服务。
这些时机与挑战也对存储提出了更高的要求：如何高效存储与治理海量多模态数据集；如何在模型的开发和推理阶段晋升训练效率；如何保障 AI 生成内容合规平安；如何便捷实现数据流转与散发；如何保障 AI 业务永续。
二、就地取材，云存储减速 AI 产业翻新倒退
面对这些挑战，云存储须要就地取材、逐个击破：缩小数据孤岛，继续降低成本，对立存储底座；继续晋升存储性能，缩小 GPU 等待时间；面向海量 AIGC 内容，提供一站式检测与解决能力；治理数据资产，让数据分享与合作更简略；构建高可用架构，让 AI 永远在线。阿里云存储正是从这五个方面动手，为 AI 产业翻新倒退减速。
1、智能数据湖，为多模态数据集与模型提供对立存储底座
AI 训练的数据集，通常具备以海量小文件为主的特点，以 LAION-5B 为例，200TB 的数据规模，文件数量高达百亿量级。因而，在数据筹备阶段，为了更无效地治理海量半结构化、非结构化数据，倡议采纳对象存储作为对立的数据底座，构建智能数据湖。
首先，对象存储 OSS 自身就是为海量数据而设计，可存储任意规模的数据，同时反对 Tbps 级吞吐，便于数据的上传与下载。
其次，海量 AIGC 内容、大模型，在长久化存储时，须要继续优化存储老本。对象存储 OSS 有 5 种存储类型可供选择，深度冷归档类型低至 0.75 分 /GB/ 月。客户能够把长期低频拜访的数据放到 OSS 深度冷归档类型中，从而在数据增长的状况下，可能继续升高 TCO。
再次，AI 和大数据一体化曾经成为趋势，以 OSS 为底座，一份数据对接多种不同计算引擎，能够很好地通过 HDFS 协定和 OSS 对象协定去对接传统的 Hadoop 利用和 HTTP 利用。
最初，对象存储 OSS 反对与高性能并行文件存储 CPFS 买通，对象存储 OSS 中的数据通过数据流动能够合并入 CPFS，实现对立命名空间的元数据管理。您能够手动或者通过主动 Lazy-load 能力，将 OSS 中的数据复制到 CPFS 中，实现通过 POSIX 文件接口高速拜访 OSS 中的数据。
2、高性能文件存储，减速 AI 训练与推理效率
数据实现预处理后，再进行 AI 训练和推理，为了进步整体作业效率，倡议采纳高性能文件存储搭配 PAI- 灵骏智算服务。
对于中大型规模的客户，举荐应用并行文件存储 CPFS，CPFS 基于端到端的 RDMA 网络、全对称的元数据服务器架构，单集群能力能够达到 2TB/s 吞吐、3000 万 IOPS，能很好地满足海量小文件解决需要。并且 CPFS 和灵骏智算一样反对多种售卖状态，包含公共云 CPFS、CPFS 全托管（灵骏智算）、CPFS 混合云等。在不同的业务场景下，既能够抉择资产自持的模式，也能够抉择公共云和智算模式，将 CAPEX 转换成 OPEX，以云的形式，按量付费灵便应用。
弹性文件客户端（Elastic File Client，简称“EFC”），通过计算端元数据缓存和翻新的 lease 机制，晋升 ls\du 等常见元数据操作速度 10 倍，可媲美本地 EXT4 性能，且多个客户端的数据放弃强统一。弹性文件客户端与 Fluid 配合，在数据集训练场景下，相较 NFS 客户端，整体训练耗时缩短 87%。
面向一些小规模业务场景，尤其是面向 serverless 场景、从小的数据集开始训练的客户，咱们也有极速型 NAS 可供选择。为了更好地服务这些客户，晋升训练效率，阿里云存储将会把极速 NAS 吞吐性能晋升 330%，其中小规格起步高吞吐从 150MBps 晋升至 500MBps，整体吞吐下限从 1200MBps 晋升至 4000MBps。
3、智能媒体治理，一站式实现 AIGC 内容解决
得益于 AI 模型的一直精进，AI 正大步迈入数字内容生产畛域。目前，AIGC 已在写作、绘画、作曲多项畛域达到“类人”体现。在 AI 模型部署和利用阶段，厂商必须在平安合规的根底上稳步实现 AIGC 利用落地、推动产品迭代。海量的 AIGC 内容，能够通过智能媒体治理 IMM 来做预处理和审核。
智能媒体治理 IMM 是一个与云存储原生集成的平台，这意味着无需挪动数据就能够主动地进行解决。比方，IMM 反对一键关联对象存储，用户无需额定开发，即可反对文档解决、内容辨认与检测等多种能力。IMM 具备齐备的内容审核能力，无论是文本、图片还是视频，可能面向多模态数据进行多种内容审核，帮忙企业更好地应答监管需要。
同时，IMM 提供面向场景的元数据管理能力，简化客户场景利用的设计复杂度，以便疾速构建利用。最为要害的一点是，IMM 是一个 serverless 的服务，无需运维，让客户能够更加专一本人的业务。
4、网盘与相册服务，让 AIGC 内容协同与分享更简略
AIGC 生成的海量数据，在通过内容审核后须要流转起来，在组织和组织之间、人与人之间进行协同和分享，方能产生更大的价值。
通过网盘与相册服务 PDS，能够让 AIGC 内容协同、数据资产治理和内容分享更为简略。PDS 蕴含企业版和开发者版本，是为客户提供的面向企业、团队与集体的数据资产治理开放平台，提供一站式数据存储、剖析、协同、分享和 AI 解决的能力。时至今日，PDS 在云上撑持了十亿级别的客户治理，具备治理百 EB 级别的数据规模的能力。深度集成 AI 能力的 PDS，反对数千种图片标签分类，减速 AIGC 内容预处理。
同时，PDS 反对开箱即用，用户既能够基于企业网盘这种 SaaS 服务，在企业外部疾速构建简略高效易用的数据资产治理平台，也能够通过网盘的中间件去构建面向 C 端的集体网盘。所有的性能反对 OpenAPI 凋谢，帮忙用户疾速构建和设计适宜本身的产品状态。
PDS 反对组织内外分享，冷热数据散发主动路由，所以对于领有海量数据的企业而言，当须要数据在组织外部和内部进行流转、买通不同云盘之间数据时，PDS 会是一个十分好的抉择。
往年阿里云存储也会在 PDS 中集成更多的大模型能力，咱们心愿让存储在 PDS 里的数据更加智能化，晋升数据管理效率，为企业办公和集体开发者提供更多开箱即用的 AI 能力。
5、高可用 SLA 与容灾能力，让 AI 始终在线
随着 AI 能力的遍及，能够预感的是，AI 将成为 7*24 小时的在线服务，如何保障它始终在线，是所有负责零碎架构的人都要思考的关键问题。在数据存储底座这一块，OSS 同城冗余存储类型，提供了业界当先的 99.995% 服务可用性 SLA，每十万次申请，失败次数不超过 5 次，OSS 的规范、低频、归档存储，都反对同城冗余的产品状态。
OSS 同城冗余存储类型，在寰球 11 个地区提供服务，在 6 月底，OSS 将公布本地冗余 Bucket 产品化降级到同城冗余 Bucket 的能力。客户能够以服务化的形式，将原来本地冗余的 Bucket 自助降级到同城冗余的 Bucket，从而晋升整个零碎架构的可用性。
如果客户放心同城冗余的 Bucket，数据依然在同一个地区，难以抵挡地区级别的灾祸，阿里云存储也提供了跨地区复制的容灾能力。OSS 跨区域复制 RTC 能力，能够让 99.99% 的数据在 10 分钟内，在不同地区之间实现复制，放弃近实时同步。在理论线上生产环境中，有一家游戏厂商通过灵活运用 RTC 的能力，99.999% 的数据在 10 秒内实现了不同地区间的数据复制，相当于在对象存储层面，构建了跨地区秒级 RPO 的一个容灾架构，对晋升业务连续性起到十分要害的作用。
后面提到的这些能力，无论是数据湖、高性能文件存储，还是智能媒体治理、网盘与相册服务以及容灾高可用能力，都曾经在 AIGC 业务场景中，失去了宽泛的客户认可和应用。中国某 AIGC 艺术创意灵感平台，应用对象存储 OSS 构建对立数据湖底座，存算解耦带来计算与存储的弹性扩大能力，一份数据对接不同计算引擎，通过 CPFS 与 OSS 数据流动，在训练效率提速 300% 的同时，继续为客户优化存储老本。
面向 AI 时代的云存储，必须要服务于数据全生命周期，贯通 AI 业务全流程，在数据筹备、模型训练与部署、利用与内容生成、内容散发与合作每一个关键环节，提供稳固、平安、高性能、低成本的存储能力。在新的 AI 浪潮下，阿里云存储将持续致力，帮忙客户实现 AI 翻新减速，助力客户业务持续增长。
点击立刻收费试用云产品 开启云上实际之旅！
原文链接
本文为阿里云原创内容，未经容许不得转载。