简介
Minio 是一个 go 编写基于 Apache License v2.0 开源协定的对象存储系统, 是为海量数据存储、人工智能、大数据分析而设计，它齐全兼容 Amazon S3 接口，非常合乎存储大容量的非结构化数据从几十 kb 到最大 5T 不等。是一个小而美的开源分布式存储软件。
特点
简略、牢靠：Minio 采纳简略牢靠的集群计划，摒弃简单的大规模的集群调度治理，缩小危险与性能瓶颈，聚焦产品的外围性能，打造高可用的集群、灵便的扩大能力以及超过的性能。建设泛滥的中小规模、易治理的集群，反对跨数据中心将多个集群聚合成超大资源池，而非间接采纳大规模、对立治理的分布式集群。
功能完善：Minio 反对云原生，能与 Kubernetes、Docker、Swarm 编排零碎良好对接，实现灵便部署。且部署简略，只有一个可执行文件，参数极少，一条命令即可启动一个 Minio 零碎。Minio 为了高性能采取无元数据数据库设计，防止元数据库成为整个零碎的性能瓶颈，并将故障限度在单个集群之内，从而不会波及其余集群。Minio 同时齐全兼容 S3 接口，因而也能够作为网关应用，对外提供 S3 拜访。同时应用 Minio Erasure code 和 checksum 来避免硬件故障。即便损失一半以上的硬盘，然而依然能够从中复原。分布式中也容许（N/2）- 1 个节点故障。
架构
去中心化架构
Minio 采纳去中心化的无共享架构，对象数据被打散寄存在不同节点的多块硬盘，对外提供对立命名空间拜访，并通过负载平衡或者 DNS 轮询在各个服务器之间实现负载平衡
对立的命名空间
Minio 有两种集群部署形式，一种是常见的本地分布式集群部署，一种是联盟模式部署。本地分布式集群部署即在多个本地服务器节点部署 Minio 服务，并将其组成单套分布式存储集群，并提供对立命名空间和标注的 S3 拜访接口。联盟部署则是将多个本地 Minio 集群在逻辑上组成了对立命名空间，实现近乎无线的扩大与海量的数据规模治理，这些集群都能够在本地或者散布在不同地区的数据中心。
分布式锁治理
与分布式数据库相似，Minio 也会存在面临数据一致性的问题: 一个客户端在读取一个对象的同时，另一个客户端可能正在批改或者删除这个对象。为了避免出现不统一的状况。Minio 专门设计并实现了 dsync 分布式锁管理器，来控制数据一致性。
- 任何一个节点的锁申请都会播送给集群内的所有在线节点
- 如果收到 N /2+ 1 个节点的批准，则获取所胜利
- 没有主节点，每个节点相互对等，节点间通过 stale lock 检测机制，判断节点的状态及持有锁状况
- 因为设计简略，比拟毛糙。有肯定的缺点性，最多反对 32 个节点。无奈防止锁失落的场景。不过根本满足可用需要。
| EC2 Instance Type | Nodes | Locks/server/sec | Total Locks/sec | CPU Usage |
|---|---|---|---|---|
| c3.8xlarge(32 vCPU) | 8 | (min=2601, max=2898) | 21996 | 10% |
| c3.8xlarge(32 vCPU) | 8 | (min=4756, max=5227) | 39932 | 20% |
| c3.8xlarge(32 vCPU) | 8 | (min=7979, max=8517) | 65984 | 40% |
| c3.8xlarge(32 vCPU) | 8 | (min=9267, max=9469) | 74944 | 50% |
数据结构
Minio 对象存储系统把存储资源组织为租户 - 桶 - 对象的模式
- 对象：相似于 hash 表中的表 xiang 表项，名字是关键字，内容相当于值
- 桶：是若干个对象的逻辑形象，是盛装对象的容器
- 租户：用于隔离存储资源。在租户下能够建设桶、存储对象
- 用户：在租户上面创立的用于拜访不同桶的账号。能够应用 minio 提供的 mc 命令设置不同用户拜访各个桶的权限
对立域名拜访
Minio 集群扩大退出了新的集群或者桶后，对象存储的客户端程序须要通过对立的域名 /url 来拜访数据对象，这个过程波及了 etcd 与 CoreDns
存储机制
Minio 应用纠删码 erasure code 和 checksum 来爱护数据免受硬件故障和无声数据损坏。即便失落一半数量 (N/2) 的硬盘，依然能够复原数据。
纠删码是一种复原失落和损坏数据的数学算法，目前纠删码技术在分布式存储系统中的利用分为三类，阵列纠删码 (Array code:RAID5、RAID6 等)、RS(Reed-solomon) 里德 - 所罗门类纠删码和 LDPC(LowDensity Parity Check Code)低密度奇偶测验纠删码。ErasureCode 是一种编码技术，它能够将份原始数据，减少 M 份数据，并能通过 N + M 份中的任意 N 分数据，还原原始数据。即如果有任意小于等于 M 份的数据失落，依然能通过剩下的数据还原。
Minio 采纳 Reed-solomon code 将对象拆分成 N / 2 数据和 N / 2 奇偶测验快，这就意味着如果是 12 块盘，一个对象将会被分成 6 个数据块、6 个奇偶测验快，能够失落任意 6 块盘(不论寄存的数据快还是奇偶测验快)，让然能够从剩下的盘中的数据恢复。
在一个 N 节点的分布式 Minio 中，只有有 N / 2 个节点在线，你的数据就是平安的。不过至多须要 N /2+ 1 个节点能力进行写操作。
将一个文件上传至 Minio 后, 对应磁盘上的信息如下：
其中 xl.json 为此对象的元数据文件。part.1 为此对象的第一个数据分片。(分布式中每一个节点都会存在这两个文件别离是数据块和奇偶测验快)在读取数据时 Minio 会对编码快进行 HighwayHash 编码，而后进行校验，以确保每个编码的正确性。基于 Erasure Code 和 Bit Rot Protection 的 HighwayHash 这两个个性，所以 Minio 的数据可靠性很高。
lambda 计算与继续备份
Minio 反对 lambda 计算告诉机制，即桶中的对象反对事件告诉机制。以后反对的事件类型有：对象上传、对象下载、对象删除、对象复制等。以后反对事件承受零碎有：redis、NATS、AMQP、Kafka、mysql、elasticsearch 等。
对象告诉机制加强了 Minio 的扩展性，能够让用户通过自行开发来实现某些 Minio 未实现的性能。比方基于元数据的检索、与用户业务相干的计算等。同时也能够通过这个机制进行疾速无效的增量备份。
对象存储网关
Minio 除了能够作为存储系统服务外，还能够作为网关，后端能够与 NAS 零碎、HDFS 零碎等分布式文件系统或者 S3、OSS 这样的第三方存储系统。有了 Minio 网关，就能够为这些后端系统增加 S3 兼容的 API，便于管理和移植，因为 S3API 曾经是对象存储界事实的标注。
用户通过对立的 S3 API 申请存储资源，通过 S3 API Router 将各个申请路由到对应的 ObjectLayer，每个 ObjectLayer 对应实现了各个存储系统的对象操作的所有 API。例如 GCS(Google cloud storage)实现了 ObjectLayer 接口后，它对于后端存储的操作就是通过 GCS 的 SDK 实现。当终端通过 S3 API 获取存储桶列表，那么最终的实现会通过 GCS 的 SDK 拜访 GCS 服务获取存储桶列表，而后包装成 S3 规范的构造返回给终端。