数字化时代,各行业的数据量呈爆炸式增长,信息存储状态日趋多样,存储市场也随之产生了天翻地覆的变动。VMware 提出 SDDC 和 SDS、戴尔收买 EMC、IBM 收买 Cleversafe、微软收买 Avere Systems、谷歌收买 Elastifile 等等事件都在表明,寰球存储行业正向着分布式、云化、闪存化的方向倒退。存储作为云计算的三驾马车之一,已成为将来数据行业的重要载体。
尽管存储作为将来数据行业的重要载体,有着不可代替的位置。但从大环境来看,存储行业内有华为、浪潮;外有 IBM、EMC,能够说是巨头林立,岂但业务壁垒高,竞争也很强烈。涉足这种近乎关闭的存储市场,须要很大的勇气。
为了深刻理解守业公司为何冲入巨头林立竞争激励的存储行业?摸索两头遇到了哪些挑战?又是如何一步步开辟出来一条新赛道?存储又如何面对将来的多云时代等问题。InfoQ 专访了焱融科技创始人兼 CEO 王海涛,深刻分析焱融科技在存储行业的多年思考、实际和应答形式等。同时也心愿此文能为正在摸索存储畛域的企业和用户带来更多的参考和启发。
巨头林立的存储行业,靠什么开辟新赛道
存储行业巨头林立,初创公司想冲破困局,开拓一条新赛道势必会面临诸多挑战,首当其冲的就是信赖挑战。存储作为每个公司的数据撑持,其重要性显而易见,再加上存储偏关闭的环境,这些因素使得泛滥企业在抉择或替换存储产品的时候都会慎之又慎,对于一个初创型公司来说更是艰难。要想破局,冲破这些窘境,建设企业信赖基石,王海涛认为做好以下几件事是要害。
首先,继续深耕存储畛域是建设信赖的根底。 以焱融科技为例,目前公司外部大多数员工在云计算和存储畛域都有很深的积攒,这使得焱融科技成立晚期,比拟容易获取到企业客户的好感和认同,其中就有一些种子客户违心尝试焱融科技的产品。
有了后期的积攒,焱融科技后续更大的指标之一就是对晚期客户做到足够的技术支持和疾速的产品迭代撑持,通过继续一直地打磨产品,让客户对产品和服务满意。尽管焱融科技在知名度上比不上大厂,但得益于产品的自主牢靠,焱融科技能够在任何代码级别问题上进行查找、FIX,实现疾速应答客户需要,同时利用产品的先进性,帮忙客户更好的适应企业外部面对存储的挑战。正因为焱融科技继续专一和深耕存储行业,在近日 Gartner 公布的中国首个《2021 中国软件定义存储竞争格局报告》(Competitive Landscape:Chinese Infrastructure Software-Defined Storage Vendors) 中,焱融科技是惟一入选专一于文件存储方向的厂商。
其次,满足企业场景需要是存储企业迈向下一步倒退的要害。 王海涛示意,因为每个行业的业务模型、IO 模型不一样,针对同一文件可能就会有程序读取、大文件读取、海量小文件读取、随机写入等等不同的 IO 逻辑。如何满足不同行业客户的需要,是存储企业须要重点关注的方向。
为此,焱融科技时常会花大量的工夫钻研每个行业的技术逻辑,并基于钻研后果对产品进行继续优化和迭代,自此,缓缓造成行业的技术壁垒和劣势。 目前,焱融科技曾经在 AI、主动驾驶和 GIS(地理信息系统)畛域获得了不错的成果。
2019 年,焱融科技服务了一家国内出名语音训练 AI 公司,这家公司次要有两个业务场景,一是以读写为主的机器学习训练场景,二是满足随机读取上亿级别的小文件时,存储性能不下滑的需要。为了满足上述两个需要,焱融科技在 AI 场景下做了许多优化,包含 SSD 智能 Cache、客户端预读机制、NR 替换算法等。通过针对行业继续优化的逻辑,焱融科技逐步造成了本身在 AI 行业的技术劣势。
在 GIS、影视渲染行业,行业特点会更显明。以某 3D 影视渲染企业用户为例,该客户的需要是在 Windows 场景下,应用上千台 Maya(开源模型动画设计软件)并行拜访同一个存储集群。为了更进一步理解客户需要,焱融科技团队钻研了传统 Windows 解决方案。他们从中发现,该计划是基于开源的 SMB 协定开发,两头存在一个较大的问题——难扩大。
对此,王海涛介绍到,“SMB 协定就像高速公路的进口,进口路线宽度无限,当车辆达到肯定水平时,很容易呈现拥挤的状况,导致底层性能再好也无奈施展实力”。鉴于此状况,焱融科技决定做独立的 Windows 客户端,以此来适配 Windows 场景。
为了测试大规模 Windows 客户端并发拜访的场景,焱融科技与 AWS 针对实际渲染利用进行了联结测试。在 8 台 EC2 服务器组成的 YRCloudFile 集群中,焱融科技别离应用 500、600、700、850、1000 台 Windows 客户端,运行 Maya 渲染程序,对原始素材进行了渲染测试。在渲染测试过程中,网络输入的总流量随着客户端数量的减少安稳回升并继续保持稳定,客户端加载渲染素材的均匀工夫管制在 160 秒左右,满足了企业大规模渲染场景下并发拜访对共享文件系统的性能需求。
AWS 8 Server 存储集群 +1000 个 Windows 客户端并发
王海涛示意,焱融科技在 AI 和 GIS 行业投入了很多的致力去做特定的优化。通过长时间的积攒,焱融科技曾经在这两个行业里具备国内当先性的程度,让其造成了能与国内竞品一较高下的技术壁垒。
在提到为什么抉择 AI、主动驾驶和 GIS 这几个看起来不太相近的行业时,王海涛说到,“在抉择投入的行业时,咱们并不是拍脑袋决定的,每个畛域都有通过三思而行。尽管外表看起来只有 AI 和主动驾驶比拟靠近一些,然而它们都有一个相同点——变化多端。 这是一个很有意思的中央,无论是新兴行业,还是传统行业,它们的倒退都须要依赖计算机以及计算机解决过的信息。因而,咱们在早年守业的时候,就心愿利用这些行业倒退的特质,在不同畛域找到属于焱融科技的地位,施展其最大的劣势,帮忙企业在行业内迅速站稳脚跟。”
“被动”倒退的存储技术,却是企业破局的灵丹妙药
近年来存储状态的变动日趋多样,存储行业的倒退也是突飞猛进。对于这些扭转,王海涛认为存储行业的倒退是偏被动的。这里的“被动”并不具备消极的含意,所谓“被动”倒退,指存储须要依据外界的变动去做绝对应的更新适配,这里王海涛从 硬件介质变动、业务端平台和云的衰亡 三个角度,剖析了不同诱因下存储技术和行业的倒退变动。
首先是 硬件介质的变动 ,也就是半导体形式的变迁。存储设备从传统的 SATA 盘、SSD 盘到 NVMe SSD,再到当初的长久化内存;网络从规范的以太网 10GE 到 25GE 再到 40GE,再到基于 IB(InfiniBand 有限带宽)的 RDMA(Remote Direct Memory Access)网络,这些扭转都是通过一直谋求硬件介质的晋升,以带来更好的效力反对。其中,介质降级带来的最大变动就是, 存储须要依据硬件的变动,推出基于不同介质的存储产品。
以读写 IO 为例,因为传统介质性能无限,操作通常会采纳分时复用的形式。即一个读写 IO 对应一个磁盘,在期待磁盘 IO 返回的过程中,能够利用分时复用做其余工作。然而,当初存储介质的性能很高,IO 读写返回速度很快,这时就须要软件层作出扭转,适应疾速性能带来的变动。像通过绑定 CPU 外围晋升性能,利用磁盘 IO 实现继续读写等等就是存储针对介质性能晋升作出的优化。
网络也是同样的情理,基于 IB(InfiniBand 有限带宽)的 RDMA(Remote Direct Memory Access)网络的遍及,使用户能够在软件层面做到面对不同网络环境,不同封装协定的数据包时,都能实现更好地传输,进而优化整个传输链路。这对于软件层面和存储层面来说,都具备着很大的挑战。
焱融科技也始终将谋求更高介质、网络技术上的产品性能,作为继续谋求的指标之一。
其次是整个 业务端平台的变动。 从以前传统的物理利用部署,到 VMware 虚拟化部署,再到 KVM 虚拟化的衰亡,以及当初基于谷歌 Kubernetes 容器平台的衰亡。下层业务载体不停地迭代变动,造就存储的变动。
以容器化平台的变动为例,过来三台物理服务器上只能做到 20-30 个左右的利用虚拟化,然而当初三台物理服务器就能实现几百个容器化实例。王海涛提到,当质变达到肯定规模时,存储需要就会产生质的扭转。 同样的容器颗粒度的变动也是一大因素,以后存储须要利用于颗粒度更粗疏的利用场景,以前是一个虚拟机里有多项服务,当初是一个容器对应一项服务,因而,每个服务的细粒水平都须要存储做更细腻的撑持。 这两点简略阐明了业务端平台的变动对存储带来的扭转。
最初就是 云的衰亡 。云曾经有十几年的倒退历史了,随着谷歌、微软、亚马逊、阿里、腾讯等企业相继推出云平台,云上产品也越来越成熟。目前,寰球对于业务上云曾经根本造成了一个明确的认知。那就是,将来无论业务、利用还是整个底层载体都会在云上。存储作为两头重要的载体,如果底层架构曾经变成云化的资源,那么传统基于硬件的存储计划,就齐全无奈适应虚拟化的状态,这时 软件定义就必须晋升进去。 而且只有软件定义还不够,还须要定义到云端的逻辑资源外面去。
举例来说,2018 年 Gartner 定义了 Cloud-Native Storage,推动了云原生存储的倒退;另外 Qumulo 也推出了面向混合云场景的新一代文件存储;明天,焱融科技也公布了本人在私有云上的 SaaS 服务——焱融 SaaS 平台,为泛滥云厂商提供了欠缺的用户整体解决方案等等。
云的衰亡与变迁扭转了整个存储架构的设计,过往大家看到的存储后端是一个磁盘,现在存储后端全在云架构上,曾经没有物理磁盘的概念了,更多的是云存储、对象存储、块存储、EBS 云盘等状态。而如何通过软件架构把上述状态设计成一个更好的通用型产品,无缝适配不同的虚构资源,则须要从软件架构上进行革新或重构。
在整个技术倒退过程中,介质的变动、业务端平台的变动、云的变动等多种诱因都在促使存储技术做出扭转。能够说,存储是以一种“偏被动”的模式在倒退。 虽是被动倒退,却也是企业破局的灵丹妙药。
云存储时代正过后,适应变动很要害
随着交融私有云和公有云模式的混合云越来越受器重,企业上云已成为大趋势。这里王海涛举了一个 NetApp 的例子。NetApp 很早之前是一家传统的一体机硬件存储厂商,当初曾经倒退到具备面向云端的服务能力,达到 200 亿美金的市值,实现在云端的营收放弃每年 70% 的增长。其实不止这一个例子阐明,将来企业上云或者往云的趋势上走,是一个既定事实。 回过头来再看国内,尽管有一些特色的状况存在,然而企业上云的节奏是不会变的,只是比例多少的问题。
既然企业上云是既定事实,存储公司如何应答也成了重中之重。王海涛提到,目前私有云厂商在存储维度产品细化较多,仅从文件存储产品来说,就有很多款,对客户来说,他们最大的问题是如何抉择存储产品。客户一方面谋求极致简单化,又要满足业务的诉求;另一方面又放心数据从云端迁徙回到企业外部,或者业务从云端绑定到另一个云的过程是否简单。这些都是存储厂商在云时代须要解决的问题。
在王海涛看来,将来存储的状态,肯定要适应企业业务变动的趋势。 同时,存储还须要了解业务,撑持业务,洞察将来业务的倒退状态,摸索将来场景,并事后做出相应变动。以焱融科技为例,面向混合云场景提供解决方案就是一种变动, 所谓混合云,就是依据业务倒退,混合应用私有云、公有云,甚至于多个私有云,进而全面满足企业客户在理论业务场景的存储需要。
存储其实是一个载体,要去服务的是业务平台。
最初王海涛走漏,接下来焱融科技将推出社区版,向用户提供收费、不限时的产品。心愿能够让更多用户通过更不便的形式理解和应用焱融科技的高性能存储产品,享受云上存储的快感。同时,也冀望企业用户通过应用焱融科技的产品,理解到如何在保障当下业务晦涩运行的同时,更好地适应新的业务场景并做到无缝切换。打消企业用户对云和容器存储的局部疑虑,满足其上云业务趋势的需要,解决企业抉择艰难的问题。后续,焱融科技还会重点针对 数据迁徙 提供解决方案,帮忙客户实现平滑迁徙,不影响客户以后业务。
采访嘉宾介绍:
王海涛,焱融科技创始人兼 CEO,2005 年毕业于清华大学软件学院,2010 年退出 IBM 从事企业公有云的研发、管理工作,曾作为 IBM 寰球公有云产品 ICM(IBM Cloud Manage with OpenStack)overall technical lead,金山云公有云技术、产品负责人,有近 10 年的企业级公有云建设教训,是中国最早从事云计算的成员之一。