乐趣区

关于devops:对象存储服务Minio

jiezi

Mino

[TOC]

对象存储服务（Object Storage Service，OSS）是一种海量、平安、低成本、高牢靠的云存储服务，适宜寄存任意类型的文件。容量和解决能力弹性扩大，多种存储类型供选择，全面优化存储老本。

对象存储服务

在我的项目开发过程中，咱们会产生大量的对象数据，包含：日志文件，数据库脚本文件、安装包，容器镜像，图像、视频等等，咱们不仅仅是须要有一个集中的中央来存储，还须要能基于 Web 的形式来拜访它们，以往咱们有以下几种办法来解决：

  • 阿里云、Azure 等云服务商提供的 SaaS 级别的 OSS 服务
  • 本人搭建 NAS 网络存储通过 Samba 服务来拜访
  • 本人搭建 FTP 服务器来存储

本篇文章次要介绍下其中的 Minio 计划

Minio


Minio 是 GlusterFS 创始人之一 Anand Babu Periasamy 公布新的开源我的项目。Minio 兼容 Amason 的 S3 分布式对象存储我的项目，采纳 Golang 实现，客户端反对 Java,Python,Javacript, Golang 语言。

Minio 是建设在云原生的根底上；有分布式和共享存储等性能；旨在多租户环境中以可继续的形式进行扩大的对象存储服务。它最适宜存储非结构化数据，如：照片、视频、日志文件、容器 / 虚拟机 / 映像等，单次存储对象的大小最大可达 5TB

参考

  • https://min.io/
  • http://www.minio.org.cn/
  • minio/minio-service: Collection of MinIO server scripts for upstart, systemd, sysvinit, launchd. (github.com)

Minio 架构

右边是 MINIO 集群的示意图，整个集群是由多个角色完全相同的节点所组成的。因为没有非凡的节点，所以任何节点宕机都不会影响整个集群节点之间的通信。通过 rest 跟 RPC 去通信的，次要是实现分布式的锁跟文件的一些操作

左边这张图是单个节点的示意图，每个节点都独自对外提供兼容 S3 的服务

为什么要用 Minio

  • 1、Minio 有良好的存储机制
  • 2、Minio 有很好纠删码的算法与擦除编码算法
  • 3、领有 RS code 编码数据复原原理
  • 4、公司做强做大时，数据的领有重要性，对数据治理与大数据分析做筹备。
  • 5、搭建本人的一套文件系统服务, 对文件数据进行平安爱护。
  • 6、领有本人的平台，不限于其余方限度。

存储机制

  • Minio 应用纠删码 erasure code 和校验和 checksum 来爱护数据免受硬件故障和无声数据损坏。即使失落一半数量（N/2）的硬盘，依然能够复原数据。

纠删码

  • 纠删码是一种复原失落和损坏数据的数学算法，目前，纠删码技术在分布式存储系统中的利用次要有三类，阵列纠删码（Array Code: RAID5、RAID6 等）、RS(Reed-Solomon)里德 - 所罗门类纠删码和 LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。Erasure Code 是一种编码技术，它能够将 n 份原始数据，减少 m 份数据，并能通过 n+m 份中的任意 n 份数据，还原为原始数据。即如果有任意小于等于 m 份的数据生效，依然能通过剩下的数据还原进去

MinIO 概念

如下图，每一行是一个机器节点 ，这里有 32 个集群， 每个节点里有一个小方块，咱们称之为 Drive，Drive 可简略地了解为磁盘。一个节点有 32 个 Drive，相当于 32 个磁盘。

Set 是一组 Drive 的汇合，所有红色标识的 Drive 组成了一个 Set。


一个对象存储在一个 Set 上; 一个集群划分为多个 Set
一个 Set 蕴含的 Drive 数量是固定的, 默认由零碎依据集群规模主动计算得出 MINIO_ERASURE_SET_DRIVE_COUNT
一个 SET 中的 Drive 尽可能散布在不同的节点上

部署

Minio 提供了两种部署形式：单机部署和分布式，两种部署形式都非常简单，其中分布式部署还提供了纠删码性能来升高数据失落的危险

单机部署：

wget https://dl.min.io/server/minio/release/linux-amd64/minio`
chmod +x minio
./minio server /data  #若 /data 目录不存在，要新建一个 `

Docker 部署 Minio

mkdir /data/minio-data&&mkdir /data/minio-config # 创立一个数据存储目录
docker run -p 9000:9000 --name minio \
-d --restart=always \
-e "MINIO_ACCESS_KEY=admin" \
-e "MINIO_SECRET_KEY=admin123456" \
-v /data/minio-data:/data \
-v /data/minio-config:/root/.minio \
minio/minio server /data

http://localhost:9000/ 即可登陆 Minio 的治理界面

分布式 Minio


单机 Minio 服务存在单点故障，相同，如果是一个有 m 台服务器，n 块硬盘的分布式 Minio, 只有有 m/2 台服务器或者 m*n/2 及更多硬盘在线，你的数据就是平安的。

例如，一个 16 节点的 Minio 集群，每个节点 200 块硬盘，就算 8 台服務器宕机，即大略有 1600 块硬盘，这个集群依然是可读的，不过你须要 9 台服務器在线能力写数据。

export MINIO_ACCESS_KEY=<ACCESS_KEY>
export MINIO_SECRET_KEY=<SECRET_KEY>
minio server http://host{1...n}/export{1...m} http://host{1...o}/export{1...m}

当然如果咱们只有一台机器，然而想用纠删码的性能，也能够间接配置应用多个本地盘
minio server /data1 /data2 /data3 ... /data8

Minio 配置

默认的配置目录是 ${HOME}/.minio，你能够应用 –config-dir 命令行选项重写之。MinIO server 在首次启动时会生成一个新的 config.json，外面带有主动生成的拜访凭据。
minio server --config-dir /etc/minio /data

  • 证书目录

TLS 证书存在 ${HOME}/.minio/certs 目录下，你须要将证书放在该目录下来启用 HTTPS 

  • 凭据

只能通过环境变量 MINIO_ROOT_USER 和 MINIO_ROOT_PASSWORD 更改 MinIO 的 admin 凭据和 root 凭据。应用这两个值的组合，MinIO 加密存储在后端的配置

export MINIO_ROOT_USER=minio
export MINIO_ROOT_PASSWORD=minio13
minio server /data

如何存储和拜访对象

将对象数据存储到 Minio 中有以下几种形式：
• 通过 MINIO CLIENT
• 通过 MINIO SDK 目前反对的语言包含：Go，Java，Node.js，Python，.NET
• 通过浏览器拜访 Web 治理界面，在治理界面中上传和下载对象
• 如果你有存储目录 minio-data 的账号和拜访权限，能够间接应用 SCP 命令将数据写入磁盘

MinIO Client (mc)

wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc

MinIO Client (mc)为 ls，cat，cp，mirror，diff，find 等 UNIX 命令提供了一种代替计划。它反对文件系统和兼容 Amazon S3 的云存储服务（AWS Signature v2 和 v4）。

命令应用

ls       ` 列出文件和文件夹。“
mb       创立一个存储桶或一个文件夹。
cat      显示文件和对象内容。
pipe     将一个 STDIN 重定向到一个对象或者文件或者 STDOUT。
share    生成用于共享的 URL。
cp       拷贝文件和对象。
mirror   给存储桶和文件夹做镜像。
find     基于参数查找文件。
diff     对两个文件夹或者存储桶比拟差别。
rm       删除文件和对象。
events   治理对象告诉。
watch    监听文件和对象的事件。
policy   治理拜访策略。
session  为 cp 命令治理保留的会话。
config   治理 mc 配置文件。
update   查看软件更新。
version  ` 输入版本信息。

列出 Mino 服务端

命令行创立 bucket

通过代码存储对象

// 结构拜访对象
var minio = new MinioClient("localhost:9000","accessKey","secretKey");
// 输入所有的 Buckets 
var rs = minio.ListBucketsAsync();
foreach (varbucket in rs.Result.Buckets)
{Console.Out.WriteLine(bucket.Name + " " + bucket.CreationDateDateTime);
}
// 存储对象
var bucketName = "logs";
var objectName = "logs.zip";
var filePath = "c:\\logs.zip";
var contentType = "application/zip";
minio.PutObjectAsync(bucketName, objectName, filePath, contentType);
// 获取对象
var find  = minio.GetObjectAsync(bucketName, objectName)
退出移动版