共计 4232 个字符，预计需要花费 11 分钟才能阅读完成。
一次看似偶尔的我的项目，开启了中科曙光的自研存储产品线。
那是 2009 年，中科曙光承建了某个计算零碎，而零碎数据须要存储在一个集中的共享平台中。作为行业领先者，这套零碎的存储规模也是十分宏大，数据需要达到了 16PB。即使是在 10 多年后的明天，许多企业的数据系统也达不到 16PB，何况是在那个年代。也正因为数据量太过宏大，应用过后支流的集中式存储须要高额的老本，而过后的开源零碎又难以承载这么大的数据量。在通过丰盛的调研和重复论证之后，曙光专家团队下定决心——本人研发。
由此曙光开启了十余年的分布式存储自研之路。当初回头看看，之所以有勇气抉择自研存储之路，正是曙光对本身技术和实力有着充沛的信念。其实在过后，曙光可抉择的开源产品包含 Lustre 等，然而思考到将来的技术倒退和超大规模零碎的复杂性、安全性等因素，自研的路线尽管艰苦，却走得最虚浮、最有价值。
16PB 数据需要催生曙光自研存储之路
“2009 年咱们做这个事之前，曾经做了大略 3 年的技术积攒，相干的技术曾经就绪，不足的只是产品化的过程。所以大家可能看到 2009 年曙光开始做自主研发了，其实正确的说法应该是 2006 年咱们就曾经开始做了技术的论证和积攒，2009 年曙光第一代分布式存储产品正式推向市场，也构建了过后国内第一套、也是最大的共享存储系统——16PB。”在谈到曙光存储倒退历程的时候，中科曙光存储事业部副总经理张新凤有些冲动。
曙光面对的第一个利用场景就是 16PB 的存储数据共享，这也是整套零碎成败的要害。在通过间断几个月的科研攻关后，曙光诞生了第一代 ParaStor200。第一代产品次要采纳非对称部署的架构，通过对 POSIX 协定的反对，满足对计算数据高效共享的利用需要，并且采纳正本技术来保证数据的可靠性。在过后，曙光 ParaStor 200 冲破了传统存储架构在容量和性能上的瓶颈，率先实现了文本、图像、声音、网页等非结构化数据存储，承载了泛滥大型项目建设。
随后推出的曙光 ParaStor 300，强化了对更多标准协议的反对，包含当初大家耳熟能详的 NAS、S3、HDFS 等等，这也阐明曙光自研存储在生态和利用上也越来越丰盛。更重要的在于，曙光存储始终与利用紧密结合，同时也依据理论的利用场景进行优化。
曙光自研存储十分看重落地实际、解决客户理论问题的能力，“咱们真的要做到让用户在大规模零碎，可能应用一些新型的性能。通过深厚的技术积攒和行业洞察，曙光能在千差万别的利用需要中提供最佳利用实际”，张新凤介绍说。正是定制能力，让曙光存储在多个案例中大放异彩。
现在，曙光的自研存储曾经迭代到了 ParaStor 300S，实现了协定的交融和互通，从底层同时反对文件、块和对象三种数据类型。这也让 ParaStor300S 具备更好的性能体现、撑持更丰盛的利用，成为了许多大型项目利用的首选，取得了不少行业和地区用户的青眼。
自研存储：什么水平算自研？
为什么大型项目都会抉择自研呢？其实如果单论性能，业界也有不少同样优良的存储设备。然而曙光 ParaStor 300S 自研存储带来的不仅仅是性能，更有超强的扩展性和稳固、平安的高可靠性，尤其是大规模我的项目来说，后者也是管理者们选型时重点思考的因素之一。其实目前业界也有不少厂商都推出了自研的存储，但究其基本，开源代码占比却很高。那么问题来了——咱们如何定义自研存储呢？
“对于自研，业内没有公认的定义，也没有评判的规范，大家都在说本人是自研的，然而具体到什么水平算是自研，我想大略能够围绕两个方面来考量：一是技术的深度，一是与利用的深度绑定以及大规模的验证”，张新凤说到。对于自研存储来说，技术深度，这也是考查品牌技术实力的第一步。
存储系统，就是对存储介质的治理。目前业界很多开源的存储系统，为了升高代码开发量，缩短研发周期，大多采纳 ext4、zfs 接口来治理磁盘，这种间接治理磁盘的形式，无奈间接、高效施展磁盘性能。特地是面对大规模部署时，磁盘成千上万块，单片磁盘性能无奈充分发挥，最终会影响整体性能。
曙光在自研存储的路线上深耕多年，最后也曾思考过 ext4 等文件系统。然而随着利用的深入、数据扩大能力需要的疾速晋升，最终在掂量了性能、性能等因素之后，曙光采纳本人开发的本地对象管理系统（Object System）实现对磁盘更精细化的管制和更高的存储利用率。“咱们在架构上做了很多的设计，包含对底层 Object System 技术更深层的优化。这样的底层技术对咱们带来的益处十分多，一方面能够把存储空间的利用率提到最高的程度，另外包含咱们对于性能的优化能够达到磁盘的 IO 级别。之所以曙光大规模存储系统性能始终业内当先，也离不开这些底层核心技术的积攒”，张新凤坦言。
在解决了存储的问题之后，接下来就是如何实现数据的传输，最重要的就是尽可能升高网络负载，这样能力最大化存储和计算节点的数据共享传输。如果存储占用的网络资源比拟高，势必对计算有比拟大的影响。曙光通过对超大规模存储网络相干技术的优化，最小的网络资源开销实现网络大带宽、低提早的指标。
也正是得益于自研的底层技术，曙光对于存储的架构和性能都有分明的认知，包含在进行重删压缩或者多协定的共享与互通等利用中，都能够取得更快的响应反对，优化也更加彻底。能够说，深刻底层的架构自研，是曙光存储的劣势所在，也是底气所在。
掂量自研存储的另一个规范就是与利用的深度绑定以及大规模的验证。正所谓“能抓耗子就是好猫”，是否实现与利用的深度定制，是掂量自研程度的另一个规范。产品性能不在于多，而在能用于、敢用于生产零碎，带来良好的用户体验。
比方某科研客户在存储利用中，曙光针对用户采集数据失落的问题，对整个存储的 IO 门路进行了从新优化，使性能晋升了 4 倍；同样是科研利用，在某研究所气象模仿迷信安装零碎我的项目中，为了解决用户业务流程耗时过长的问题，曙光集结业余研发团队为客户定制减速技术，帮忙用户实测使用性能晋升 8 到 10 倍。由此看来，曙光充沛抓住了客户痛点，也施展了自研存储灵便调配的劣势，实现了疾速响应。
真正要考验存储自研技术实力的，还是要看超大规模的部署实际。海量存储系统必然随同着大量客户端的并发拜访需要，保障所有客户端数据拜访的强一致性，防止对同一文件的并发读写对彼此数据的毁坏，是一个成熟海量存储系统的必备素质。曙光 ParaStor 在分布式锁（Distributed Lock Management，DLM）的应用与优化方面投入了大量精力，一直晋升大规模分布式锁获取与开释的性能与可用性，并减少了可重入、非阻塞等个性，无效保障高并发共享拜访场景的程序、秩序与效率，在气象环保、能源地质等海量数据处理场景失去了宽泛的利用。
对于海量数据存储来说，动辄就是成千上万块磁盘，即使依照故障率来说每天也会有 2 - 5 块磁盘的损坏，因而如何保障数据安全也就更为重要。为此，曙光研发团队为 ParaStor 300S 通过智能化的技术来辨认硬件的衰弱状态，通过高效无感知的自愈技术和智能化故障预处理来保障硬件的可靠性，同时采纳多正本、纠删码等技术显著缩短故障数据的重建工夫，保障系统真正牢靠、高效、稳固的运行。
联合行业利用的理论，曙光团队曾经将 ParaStor 300S 存储与泛滥客户的业务实现了深层优化和绑定，仅就往年来说，曙光就曾经服务了 2 个超 300PB 的客户我的项目 ，这其中也进行了大量的利用移植和优化。 其实从诞生之日起，曙光存储就是为了大规模利用存在的，所以在利用和大规模部署上，客户齐全不须要放心。
从实验室再到利用的残缺开发路线，曙光 ParaStor 一直在理论业务中证实了本身的价值，每一代产品都代表着过后最先进的存储技术。最新一代 ParaStor 300S 具备了文件、块、对象、HDFS 等四种支流协定的存储服务，3 节点即可承载非结构化与结构化数据业务，打消存储设备多样性及治理复杂性，升高存储系统的构建老本。特地在往年，随同着“东数西算”策略的全面开展，曙光也成为了煊赫一时的自研数据解决方案提供商，承载了更多大型项目。
东数西算，海量存储要高效，更要绿色
往年 3 月，“东数西算”策略正式启动。其中最重要的就是数据的平安存储和传输。这对于存储市场是时机也是挑战，岂但须要弱小的数据存储和治理能力，更须要满足绿色节能、疾速响应、平安稳固等一系列需要，也为曙光存储的倒退提供了新空间。
依据发改委颁布的数据预计，“十四五”期间，大数据中心投资将以每年超过 20% 的速度增长，而联合“双碳”大背景，升高 PUE 晋升数据中心整体能效的大趋势下，液冷技术利用曾经成为行业共识更成为将来数据中心制冷首选。
曙光同样是这个畛域的先行者。早在 2011 年，曙光便开始液冷相干技术钻研，随后推出国内首款标准化量产的冷板液冷服务器，率先实现冷板液冷服务器大规模商业化利用。当然最值得一提的还是浸没相变液冷技术，这也是曙光成为液冷行业领军者的“杀手锏”——将数据中心的 PUE 降至 1.04，当下最低，相比传统风冷数据中心能效比晋升超过 30%。
“曙光在绿色数据中心上有很多数据技术积攒，包含浸没式的液冷技术，在国内的 PUE 始终做得比拟当先，当初咱们也把液冷的技术引入到存储系统中，更好的实现绿色节能环保指标。曙光预计在往年推出一套液冷的分布式存储，会采纳冷板的设计，再加上前端液冷的计算节点，咱们就能够齐全造成一体化的液冷计划，在这个计划的加持下可实现 PUE1.04”，在谈到助力数据中心节能的时候，张新凤显得信念满满。
东数西算正须要这样弱小的节能技术，也便于将海量数据进行平安、稳固的存储。在“东数西算”成渝枢纽节点内的西部（重庆）科学城先进数据中心便是曙光“液冷数据中心”的具体实际。
除了下面提到的西部（重庆）科学城之外，曙光存储也曾经在泛滥智算核心、运营商智能化降级等我的项目中负责配角，而在一贯劣势的科研项目中，曙光存储也广泛应用在石油地震勘探、天气预报和气侯模仿等零碎中，为中国的科研倒退贡献力量。
面对海量数据增长，面对东数西算的国家策略，将来中国存储市场曾经站在了十字路口，无论从利用场景的理论需要还是大规模扩大的潜在平安来说，市场更须要有自研核心技术、平安稳固的存储解决方案，这也是曙光多年来保持取得的回报。
正如在采访最初张新凤所说：“目前来说存储倒退是一个转折点，将来的数据中心规模更大，更须要实现对异构海量数据的交融。我置信以曙光为代表，领有核心技术的存储厂商，将迎来更大的倒退空间。”
