关于linux:分布式文件存储服务器之Minio对象存储技术参考指南

7次阅读

共计 5241 个字符，预计需要花费 14 分钟才能阅读完成。

MinIO 是一种高性能对象存储解决方案，原生反对 Kubernetes 部署。MinIO 提供与 Amazon Web Services S3 兼容的 API 并反对所有外围 S3 性能。MinIO 是在 GNU Affero 通用公共许可证 v3.0 下公布的。

兴许提起对象存储技术，咱们都经验过 Fastdfs 长时间的拉锯战，即便当初大部分都在应用云服务厂商提供的 OSS 对象存储服务，然而其所破费的经济老本也是递增的，而且数据都存储在他人的服务器上，从肯定水平上来说，对于文件资源的把控粒度是极其不可管制，公网数据是何其的没有隐衷可言。尽管，对于开发层面上来说，只须要整合对应的 SDK，对其应用曾经是开箱即用。然而，对于抉择自研对象存储技术来说，Minio 何尝不失为一大利器。
其搭建过程与整合方面，简直曾经没有什么瓶颈可言。不论是从传统服务器的装置，还是基于 Docker 以及 Kubernetes 的部署，几乎简略得不要不要的。

MinIO supports the widest range of use cases across the largest number of environments. Cloud native since inception, MinIO’s software-defined suite runs seamlessly in the public cloud, private cloud and at the edge – making it a leader in the hybrid cloud. With industry leading performance and scalability, MinIO can deliver a range of use cases from AI/ML,analytics, backup/restore and modern web and mobile apps.

MinIO 在最大数量的环境中反对最宽泛的用例。自云原生以来，MinIO 的软件定义套件在公共云、公有云和边缘无缝运行——使其成为混合云的领导者。凭借行业当先的性能和可扩展性，MinIO 能够提供一系列用例，包含 AI/ML、剖析、备份 / 复原以及古代 Web 和挪动应用程序。

Hybrid Cloud：混合云
Born cloud native：云原生
MinIO is pioneering high performance object storage：高性能对象存储的先驱
Built on the principles of web scale：建设在网络规模的原则上
The #1 open source object store. And the most enterprise ready. 开源对象存储，并且最适宜企业
The defacto standard for Amazon S3 compatibility：Amazon S3 兼容性的事实标准
Simply powerful：简略弱小[极简主义]

MinIO 的企业级个性代表了对象存储空间的规范。从 AWS S3 API 到 S3 Select 以及咱们对内联擦除编码和安全性的施行，咱们的代码广受赞美，并常常被一些技术和商业畛域的大腕复制。

Erasure Coding：纠错码

MinIO 应用以汇编代码编写的每个对象内联擦除编码来爱护数据，以提供尽可能高的性能。MinIO 应用 Reed-Solomon 代码将对象条带化为具备用户可配置冗余级别的数据和奇偶校验块。MinIO 的 Erasure Coding 在对象级别执行修复，能够独立修复多个对象。

在 N/2 的最大奇偶校验下，MinIO 的实现能够确保在部署中仅应用 ((N/2)+1) 个操作驱动器进行不间断的读写操作。例如，在 12 个驱动器的设置中，MinIO 将对象分片到 6 个数据和 6 个奇偶校验驱动器，并且能够牢靠地写入新对象或重建现有对象，而部署中仅剩下 7 个驱动器。

Bitrot Protection：Bitrot 爱护

静默数据损坏或 bitrot 是磁盘驱动器面临的重大问题，导致数据在用户不知情的状况下损坏。起因是多方面的（驱动器老化、电流峰值、磁盘固件中的谬误、幻像写入、读取 / 写入方向谬误、驱动程序谬误、意外笼罩），但后果是一样的 – 数据受损。

MinIO 对 HighwayHash 算法的优化实现确保它永远不会读取损坏的数据 – 它即时捕捉和修复损坏的对象。通过在 READ 上计算散列并在从应用程序、网络到内存 / 驱动器的 WRITE 上对其进行验证来确保端到端的完整性。该实现专为速度而设计，能够在 Intel CPU 的单核上实现超过 10 GB/ 秒的散列速度。

Encryption：加密解决

在航行中加密数据是一回事；爱护静态数据是另一回事。MinIO 反对多种简单的服务器端加密计划来爱护数据——无论数据在哪里。MinIO 的办法以可疏忽的性能开销确保机密性、完整性和真实性。应用 AES-256-GCM、ChaCha20-Poly1305 和 AES-CBC 反对服务器端和客户端加密。

加密对象应用 AEAD 服务器端加密进行防篡改。此外，MinIO 与所有罕用的密钥治理解决方案（例如 HashiCorp Vault）兼容并通过测试。MinIO 应用密钥管理系统 (KMS) 来反对 SSE-S3。

如果客户端申请 SSE-S3 或启用主动加密，则 MinIO 服务器应用惟一的对象密钥加密每个对象，该对象密钥受 KMS 治理的主密钥爱护。鉴于极低的开销，能够为每个应用程序和实例关上主动加密。

Identity Management：身份治理

MinIO 反对身份治理中最先进的规范，与 OpenID 连贯兼容提供商以及要害的内部 IDP 供应商集成。这意味着拜访是集中的，明码是长期的和轮换的，而不是存储在配置文件和数据库中。此外，拜访策略是细粒度和高度可配置的，这意味着反对多租户和多实例部署变得简略。

Continuous Replication：间断复制

传统复制办法的挑战在于，它们无奈无效扩大超过数百 TB。话虽如此，每个人都须要一个复制策略来反对劫难复原，并且该策略须要逾越地区、数据中心和云。

MinIO 的继续复制专为大规模、跨数据中心部署而设计。通过利用 Lambda 计算告诉和对象元数据，它能够高效疾速地计算增量。Lambda 告诉确保更改立刻流传，而不是传统的批处理模式。

间断复制意味着如果产生故障，即便面对高度动静的数据集，数据失落也将放弃在最低限度。最初，与 MinIO 所做的一样，继续复制是多供应商的，这意味着您的备份地位能够是从 NAS 到公共云的任何地位。

Global Federation：寰球联合会

古代企业到处都有数据。MinIO 容许将这些不同的实例组合起来造成一个对立的全局命名空间。具体来说，能够将任意数量的 MinIO 服务器组合成一个分布式模式集，多个分布式模式集能够组合成一个 MinIO 服务器联结。每个 MinIO Server Federation 都提供对立的治理和命名空间。

MinIO 联结服务器反对有限数量的分布式模式集。这种办法的影响是对象存储能够为大型、地理分布的企业大规模扩大，同时保留从单个控制台包容各种应用程序（Splunk、Teradata、Spark、Hive、Presto、TensorFlow、H20）的能力。

Multi-Cloud Gateway：多云网关

所有企业都在采纳多云策略。这也包含公有云。因而，您的裸机虚拟化容器和公共云服务（包含 Google、Microsoft 和阿里巴巴等非 S3 提供商）必须看起来雷同。尽管古代应用程序具备高度可移植性，但反对这些应用程序的数据却不是。

让这些数据无论位于何处都可用，是 MinIO 解决的次要挑战。MinIO 在裸机、网络附加存储和每个公共云上运行。更重要的是，MinIO 通过 Amazon S3 API 确保您从应用程序和治理的角度来看这些数据的视图看起来完全相同。

MinIO 能够走得更远，使您现有的存储基础设施与 Amazon S3 兼容。影响是深远的。当初，组织能够真正对立他们的数据基础设施——从文件到块，所有这些都显示为可通过 Amazon S3 API 拜访的对象，而无需迁徙。

WORM：WORM 对象锁定

启用 WORM 后，MinIO 会禁用所有可能扭转对象数据和元数据的 API。这意味着一旦写入的数据就能够防篡改。这对于许多不同的监管要求具备理论利用。

MinIO 被设计为云原生，能够作为由内部编排服务（如 Kubernetes）治理的轻量级容器运行。整个服务器是一个约 40MB 的动态二进制文件，并且在应用 CPU 和内存资源方面十分高效 – 即便在高负载下也是如此。后果是您能够在共享硬件上独特托管大量租户。

MinIO 在带有本地连接驱动器 (JBOD/JBOF) 的商用服务器上运行。集群中的所有服务器的能力雷同（齐全对称架构）。没有名称节点或元数据服务器。

MinIO 将数据和元数据作为对象一起写入，无需元数据数据库。此外，MinIO 将所有性能（擦除代码、bitrot 查看、加密）作为内联、严格统一的操作执行。后果是 MinIO 十分有弹性。

每个 MinIO 集群是一组分布式 MinIO 服务器，每个节点一个过程。MinIO 作为单个过程在用户空间运行，并应用轻量级协程来实现高并发。驱动器被分组到擦除集（默认状况下每组 16 个驱动器），并且应用确定性散列算法将对象搁置在这些集上。

MinIO 专为大规模、多数据中心的云存储服务而设计。每个租户运行本人的 MinIO 集群，与其余租户齐全隔离，使他们可能爱护他们免受降级、更新和安全事件的任何中断。每个租户通过跨地区联结集群来独立扩大。

MinIO 的企业级个性代表了对象存储空间的规范。从 AWS S3 API 到 S3 Select 以及咱们对内联擦除编码和安全性的施行，咱们的代码广受赞美，并常常被一些技术和商业畛域的大腕复制。

默认状况下，对惟一对象名称的每次新写入操作都会导致笼罩该对象。您能够将 MinIO 配置为创立每个对象渐变的版本，从而保留该对象的残缺历史记录。MinIO 还反对一次写入屡次读取 (WORM) 锁定版本化对象，以确保在指定的持续时间内或直到显式解除锁定为止的齐全不变性。

版本控制和对象锁定性能仅实用于分布式 MinIO 部署：

Bucket Versioning：存储桶版本控制

MinIO 反对在单个存储桶中保留对象的多个“版本”。通常会笼罩现有对象的写入操作会导致创立新的版本化对象。MinIO 版本控制可避免意外笼罩和删除，同时反对“吊销”写入操作。存储桶版本控制是配置对象锁定和保留规定的先决条件。

对于版本化存储桶，任何扭转对象的写入操作都会导致该对象的新版本具备惟一的版本 ID。MinIO 标记客户端默认检索的对象的“最新”版本。而后，客户端能够明确抉择列出、检索或删除特定对象版本。

其中：

具备繁多版本的对象：MinIO 为每个对象增加一个惟一的版本 ID 作为写入操作的一部分。

2. 具备多个版本的对象：MinIO 保留对象的所有版本，并将最新版本标记为“最新”。

3. 检索最新的对象版本

4. 检索特定对象版本

WORM：对象锁定

MinIO 对象锁定（“对象保留”）强制执行一次写入屡次读取 (WORM) 不变性以爱护版本化对象不被删除。MinIO 反对基于持续时间的对象保留和无限期非法保留保留。

MinIO 对象锁定提供要害数据保留合规性，并合乎 Cohasset Associates 的 SEC17a-4(f)、FINRA 4511(C) 和 CFTC 1.31(c)-(d) 要求。

其中：

不带锁的桶：MinIO 版本控制保留了对象渐变的残缺历史。然而，应用程序能够明确删除特定的对象版本。

带锁的桶：对存储桶中的对象利用默认的 30 天 WORM 锁定可确保所有对象版本的最短保留期和保护期。

3. 锁定桶中的删除操作：删除操作遵循版本化存储桶中的失常行为，其中 MinIODeleteMarker 为对象创立一个。然而，对象的非删除标记版本仍受保留规定束缚，并且不会受到任何特定删除或笼罩尝试的影响。

4. 锁定存储桶中的版本化删除操作：MinIO 会阻止任何删除在 WORM 锁定下持有的特定对象版本的尝试。客户端能够删除版本的最早可能工夫是锁定到期时。

MinIO 是一个软件定义的高性能分布式对象存储服务器。您能够在生产级或企业级硬件以及各种操作系统和架构上运行 MinIO。

MinIO 反对两种部署模式：独立和 分布式：

独立部署：具备单个存储卷或文件夹的单个 MinIO 服务器。独立部署最适宜应用 MinIO 进行对象存储的应用程序的评估和初始开发，或为单个存储卷提供 S3 拜访层。独立部署不提供对全套 MinIO 高级 S3 个性和性能的拜访。
分布式部署：一台或多台 MinIO 服务器，所有服务器上至多有四个总存储卷。分布式部署最适宜生产环境和工作负载，并反对 MinIO 的所有外围和高级 S3 个性和性能。对于生产环境，MinIO 倡议应用 4 个节点和 4 个驱动器的基线拓扑。