上个月，焱融云舟 SaaS 数据服务平台正式公布了，作为一款简略、灵便且高可用的 NAS 共享数据服务平台，能够说是宽广中小企业、工程师用来轻松迁徙、剖析和平安地共享数据的神兵利器。
在云舟上线后，收到了越来越多的关注和好评，其中有不少用户开始好奇云舟背地的故事、业务逻辑和底层技术。为了满足大家的好奇心，本篇文章将深挖云舟背地的核心技术，揭秘云舟是如何为用户提供高性能、高可用、灵活性强的服务和产品。
云舟计划结构图
云舟的诞生历程
以后，分布式存储次要分为三大类型：对象存储、块存储和文件存储。其中，无论是对历史遗留的零碎，还是对当下新兴的技术，诸如 AI 训练、容器等场景来说，分布式文件存储无疑是利用范畴最广、适配性最好的。当然，文件存储也面临一个问题——它是存储三驾马车中，最简单的一种存储类型。
在混合云策略中，文件存储是重要的一环，尤其是对于数据有交互需要的场景，是不可短少的局部。随着云原生概念的进一步扩充，用户对于存储的需要，也逐步从原有的存储数据延长到了易部署、易用性方面，这也是国外存在着大量的 Distributed Cloud File Storage 的起因。
分布式云文件存储雷达图
同时，随着越来越多的用户将业务向私有云上迁徙，用户在为利用抉择存储时，常常会陷入困境。
第一，企业对于老本优化的谋求，在所有的利用场景里简直都是手不释卷的，即便在最外围的利用场景里，咱们仍然须要管制老本。第二，咱们很难疾速让公有云和私有云或者不同云之间的数据，造成对立的整体。第三，同样的数据在面对不同的利用场景时，也会有着不同的性能和性能的诉求，仅仅依附私有云上的存储类型是齐全不够的。
针对文件存储和业务场景的劣势和挑战，焱融推出了 SaaS 数据服务平台——云舟，其实现将 YRCloudFile 在应答企业用户过程中，所积攒的海量存储技术劣势和实战经验，利用到私有云环境中，联合分层存储策略，利用云上的跨虚构数据中心的拜访能力，在满足用户对数据拜访性能要求的同时，给用户带来老本的劣势，也为混合云的解决方案提供了足够的撑持能力。
云舟技术构造视角
从技术架构的维度看，云舟的部署模式沿用了企业版的规范构造，采纳了私有云上的虚拟机并配合高性能的 EBS 磁盘，例如 NVMe 高性能磁盘，对外提供相应的 IOPS 和带宽。
依据业务的须要，云舟能够应用对业务端通明的形式进行无缝垂直扩大，通过在单集群内的扩容更多的 EC2 虚拟机来减少单集群的吞吐能力。还能够通过在不同的私有云可用区域，新建更多的存储集群来承载更多的业务。
从客户的利用层面看，咱们能够利用 NFS 协定（容量型）或者 POSIX（性能型）拜访业务数据，达到了按需应用、按需扩容，无需自行组建、保护相应的存储集群。同时，利用存储集群的配额（Quota），QoS 治理保障了数据的平安，防止了争用。
在保障用户拜访性能的同时，云舟还充分利用了云上的对象存储能力，依据零碎定义的策略，会被动将冷数据转移到 S3 对象存储内，但并不毁坏用户对立命名空间的拜访能力。
云舟架构图
云舟优化分层策略
目前，云舟的存储次要分为两个档次：热数据层，冷数据层。其中，集群的 EC2 的本地磁盘组成的存储池为热数据层，是经常性拜访数据的存储介质；而 S3 对象存储作为冷数据层，是用于非经常性拜访数据的存储介质。从应用层来看，所有的数据均在同一命名空间内，数据的调度由存储集群自行实现。
为了最大水平上满足用户对容量和性能的需要，云舟针对每个客户创立的文件系统，默认创立了 Tiering Policy，能够将数据搁置到对象存储。因为对象存储跨网络拜访传输小文件相比于大文件来说，性价比较低，所以零碎策略须要同时思考文件拜访工夫和文件数据大小，例如对于 512Byte 的文件，不会转移到 S3 存储内，默认保留在热数据层。
在继续运行过程中，依赖于云舟的多 MDS（文件系统元数据服务）能力，会对数据进行扫描，合乎策略的数据将被搁置到对象存储。当某一时刻，利用拜访曾经被转移到对象存储内的数据，将会主动产生数据的转移。
部分读写的思路拆解
在分层策略被触发后，局部数据会被搁置到 S3 对象存储中。此时，如果业务零碎再次拜访相应的数据，云舟将会触发数据下载的动作。通常的默认行为是，整个文件通过 S3 协定全副下载，而后再用文件拜访协定读取文件返回给用户。这个过程中，用户可能显著的感触到数据的拜访提早，因为要期待数据全副下载实现。
但依据咱们在各个企业环境的实测数据来剖析，无论是用户的行为，还是程序的行为，在数据获取的过程，均存在优化的行为。例如，观看视频文件，用户常见的行为就是拖动式观看；在某些剖析畛域，也会首先读取文件的头部，依据头部信息再去读取后续的某些局部。
解决这个问题的思路即为部分读写，依据客户程序读写文件的信息，利用文件的 MDS 信息也对应去 S3 对象存储上读写对应的片段并返回给客户，同时为了充分利用网络带宽的能力，云舟对读取的数据范畴会进行对齐操作。
部分读流程图
云舟企业实战
Devops Stage
在企业 IT 计划转型过程中，DevOps 以及云都是要害的驱动因素。依据 Gartner 预测，到 2021 年，寰球最终用户在私有云服务上的收入将增长 18.4%，达到 3049 亿美元，高于 2020 年的 2575 亿美元。在 COVID-19 危机之后，转移到云的 IT 收入比例将减速增长，预计到 2024 年，云将占寰球企业 IT 总支出市场的 14.2%，高于 2020 年的 9.1%。
因而，在企业 IT 计划云化过程中，无论是从可靠性、共享能力，还是操作便利性和保护老本的角度来看，存储是至关重要的一环。通过云存储的形式，企业能够实现从 CapEx 转变为 OpEx 模型，无需再购买大量的物理存储硬件设施，只须要按需应用，即可防止了大量设施投资。
目前，焱融云舟提供了 NFS 以及 POSIX 的拜访协定，能够宽泛对接到企业 IT 中的各类服务。在前几篇内容中，咱们以“云舟搭配不同利用”的形式，充沛展示了云舟高可用、灵活性强的个性，一起来回顾一下吧！
1、云舟疾速上手秘诀
在《是云舟呀|焱融云舟数据服务平台上手指南》中，咱们清晰地形容了如何创立云舟文件系统，教你轻松玩转云舟。
2、云舟 + WordPress
WordPress 作为寰球最风行的开源的博客和内容治理网站的建站平台，不少人会抉择它来搭建博客、企业官网、电商、论坛等各类网站。在《是云舟呀 | 云舟之上部落格》中，咱们将从具体的利用角度来具体操作如何搭建一个公有 WordPress blog，让你疾速领有一个“私人领地”。
3、云舟 + Cloudreve
当初有不少人会通过网盘分享和存储资源，然而无限的资源曾经限度了咱们的施展。在《是云舟呀|云舟之上集体网盘》中，咱们以 Cloudreve 为例，教大家如何利用云舟提供的存储，简略疾速地搭建集体网盘，实现在保证数据的可靠性的同时，十分便当地将数据分享进来。
4、云舟 +Kubernetes
云舟除了用于备份、网盘、文件共享等场景以外，还能够联合 Kubernetes，做到按需创立挂载来进一步满足个性化需要，赶快一起来学习一下吧！《是云舟呀|Kubernetes + 云舟组合 个性化需要反对就没输过！》
5、云舟 +ELK
随着业务的快速增长，每天零碎产生的 log 会一直增长，这其中蕴含着大量有价值信息。在《是云舟呀|一招教你通过焱融云舟 +ELK 让日志帮你做决策》中，咱们分享了如何基于焱融云舟所提供的存储能力，通过 ELK 实时日志分享平台搭建整体软件结构。
与云舟一起，共建数据生态
目前，越来越多的用户将企业级应用程序，迁徙和部署到私有云上，并应用基于文件的共享存储。焱融科技作为文件存储畛域重要的引领者和创新者，岂但领有成熟的平台和优良的技术根底，还具备弱小的市场需求前瞻洞察力，布局研发了业内当先的数据服务平台，心愿通过云舟给用户带来性能和应用上的极致体验。
云舟是一款疾速迭代的产品，须要与更多搭档技术共生和能力交融，能力构建起更加巩固、凋敝的数据生态。因时而生，共创数据将来，咱们期待更多的搭档退出到云舟，置信将来在云舟上会诞生最前沿、最炫酷的创意和利用。