简介
Minio是一个go编写基于Apache License v2.0开源协定的对象存储系统,是为海量数据存储、人工智能、大数据分析而设计，它齐全兼容Amazon S3接口，非常合乎存储大容量的非结构化数据从几十kb到最大5T不等。是一个小而美的开源分布式存储软件。
特点
简略、牢靠：Minio采纳简略牢靠的集群计划，摒弃简单的大规模的集群调度治理，缩小危险与性能瓶颈，聚焦产品的外围性能，打造高可用的集群、灵便的扩大能力以及超过的性能。建设泛滥的中小规模、易治理的集群，反对跨数据中心将多个集群聚合成超大资源池，而非间接采纳大规模、对立治理的分布式集群。
功能完善：Minio反对云原生，能与Kubernetes、Docker、Swarm编排零碎良好对接，实现灵便部署。且部署简略，只有一个可执行文件，参数极少，一条命令即可启动一个Minio零碎。Minio为了高性能采取无元数据数据库设计，防止元数据库成为整个零碎的性能瓶颈，并将故障限度在单个集群之内，从而不会波及其余集群。Minio同时齐全兼容S3接口，因而也能够作为网关应用，对外提供S3拜访。同时应用Minio Erasure code和checksum 来避免硬件故障。即便损失一半以上的硬盘，然而依然能够从中复原。分布式中也容许（N/2）-1个节点故障。
架构
去中心化架构
Minio采纳去中心化的无共享架构，对象数据被打散寄存在不同节点的多块硬盘，对外提供对立命名空间拜访，并通过负载平衡或者DNS轮询在各个服务器之间实现负载平衡
对立的命名空间
Minio有两种集群部署形式，一种是常见的本地分布式集群部署，一种是联盟模式部署。本地分布式集群部署即在多个本地服务器节点部署Minio服务，并将其组成单套分布式存储集群，并提供对立命名空间和标注的S3拜访接口。联盟部署则是将多个本地Minio集群在逻辑上组成了对立命名空间，实现近乎无线的扩大与海量的数据规模治理，这些集群都能够在本地或者散布在不同地区的数据中心。
分布式锁治理
与分布式数据库相似，Minio也会存在面临数据一致性的问题:一个客户端在读取一个对象的同时，另一个客户端可能正在批改或者删除这个对象。为了避免出现不统一的状况。Minio专门设计并实现了dsync分布式锁管理器，来控制数据一致性。
- 任何一个节点的锁申请都会播送给集群内的所有在线节点
- 如果收到N/2+1个节点的批准，则获取所胜利
- 没有主节点，每个节点相互对等，节点间通过stale lock检测机制，判断节点的状态及持有锁状况
- 因为设计简略，比拟毛糙。有肯定的缺点性，最多反对32个节点。无奈防止锁失落的场景。不过根本满足可用需要。
| EC2 Instance Type | Nodes | Locks/server/sec | Total Locks/sec | CPU Usage |
|---|---|---|---|---|
| c3.8xlarge(32 vCPU) | 8 | (min=2601, max=2898) | 21996 | 10% |
| c3.8xlarge(32 vCPU) | 8 | (min=4756, max=5227) | 39932 | 20% |
| c3.8xlarge(32 vCPU) | 8 | (min=7979, max=8517) | 65984 | 40% |
| c3.8xlarge(32 vCPU) | 8 | (min=9267, max=9469) | 74944 | 50% |
数据结构
Minio对象存储系统把存储资源组织为租户-桶-对象的模式
- 对象：相似于hash表中的表xiang表项，名字是关键字，内容相当于值
- 桶：是若干个对象的逻辑形象，是盛装对象的容器
- 租户：用于隔离存储资源。在租户下能够建设桶、存储对象
- 用户：在租户上面创立的用于拜访不同桶的账号。能够应用minio提供的mc命令设置不同用户拜访各个桶的权限
对立域名拜访
Minio集群扩大退出了新的集群或者桶后，对象存储的客户端程序须要通过对立的域名/url来拜访数据对象，这个过程波及了etcd与CoreDns
存储机制
Minio应用纠删码erasure code和checksum来爱护数据免受硬件故障和无声数据损坏。即便失落一半数量(N/2)的硬盘，依然能够复原数据。
纠删码是一种复原失落和损坏数据的数学算法，目前纠删码技术在分布式存储系统中的利用分为三类，阵列纠删码(Array code:RAID5、RAID6等)、RS(Reed-solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶测验纠删码。ErasureCode是一种编码技术，它能够将份原始数据，减少M份数据，并能通过N+M份中的任意N分数据，还原原始数据。即如果有任意小于等于M份的数据失落，依然能通过剩下的数据还原。
Minio采纳Reed-solomon code将对象拆分成N/2数据和N/2奇偶测验快，这就意味着如果是12块盘，一个对象将会被分成6个数据块、6个奇偶测验快，能够失落任意6块盘(不论寄存的数据快还是奇偶测验快)，让然能够从剩下的盘中的数据恢复。
在一个N节点的分布式Minio中，只有有N/2个节点在线，你的数据就是平安的。不过至多须要N/2+1个节点能力进行写操作。
将一个文件上传至Minio后,对应磁盘上的信息如下：
其中xl.json为此对象的元数据文件。part.1为此对象的第一个数据分片。(分布式中每一个节点都会存在这两个文件别离是数据块和奇偶测验快)在读取数据时Minio会对编码快进行HighwayHash编码，而后进行校验，以确保每个编码的正确性。基于Erasure Code和Bit Rot Protection的HighwayHash这两个个性，所以Minio的数据可靠性很高。
lambda计算与继续备份
Minio反对lambda计算告诉机制，即桶中的对象反对事件告诉机制。以后反对的事件类型有：对象上传、对象下载、对象删除、对象复制等。以后反对事件承受零碎有：redis、NATS、AMQP、Kafka、mysql、elasticsearch等。
对象告诉机制加强了Minio的扩展性，能够让用户通过自行开发来实现某些Minio未实现的性能。比方基于元数据的检索、与用户业务相干的计算等。同时也能够通过这个机制进行疾速无效的增量备份。
对象存储网关
Minio除了能够作为存储系统服务外，还能够作为网关，后端能够与NAS零碎、HDFS零碎等分布式文件系统或者S3、OSS这样的第三方存储系统。有了Minio网关，就能够为这些后端系统增加S3兼容的API，便于管理和移植，因为S3API曾经是对象存储界事实的标注。
用户通过对立的S3 API申请存储资源，通过S3 API Router将各个申请路由到对应的ObjectLayer，每个ObjectLayer对应实现了各个存储系统的对象操作的所有API。例如GCS(Google cloud storage)实现了ObjectLayer接口后，它对于后端存储的操作就是通过GCS的SDK实现。当终端通过S3 API获取存储桶列表，那么最终的实现会通过GCS的SDK拜访GCS服务获取存储桶列表，而后包装成S3规范的构造返回给终端。