乐趣区

关于devops:对象存储服务Minio

Mino

[TOC]

对象存储服务(Object Storage Service,OSS)是一种海量、平安、低成本、高牢靠的云存储服务,适宜寄存任意类型的文件。容量和解决能力弹性扩大,多种存储类型供选择,全面优化存储老本。

对象存储服务

在我的项目开发过程中,咱们会产生大量的对象数据,包含:日志文件,数据库脚本文件、安装包,容器镜像,图像、视频等等,咱们不仅仅是须要有一个集中的中央来存储,还须要能基于 Web 的形式来拜访它们,以往咱们有以下几种办法来解决:

  • 阿里云、Azure 等云服务商提供的 SaaS 级别的 OSS 服务
  • 本人搭建 NAS 网络存储通过 Samba 服务来拜访
  • 本人搭建 FTP 服务器来存储

本篇文章次要介绍下其中的 Minio 计划

Minio


Minio 是 GlusterFS 创始人之一 Anand Babu Periasamy 公布新的开源我的项目。Minio 兼容 Amason 的 S3 分布式对象存储我的项目,采纳 Golang 实现,客户端反对 Java,Python,Javacript, Golang 语言。

Minio 是建设在云原生的根底上;有分布式和共享存储等性能;旨在多租户环境中以可继续的形式进行扩大的对象存储服务。它最适宜存储非结构化数据,如:照片、视频、日志文件、容器 / 虚拟机 / 映像等,单次存储对象的大小最大可达 5TB

参考

  • https://min.io/
  • http://www.minio.org.cn/
  • minio/minio-service: Collection of MinIO server scripts for upstart, systemd, sysvinit, launchd. (github.com)

Minio 架构

右边是 MINIO 集群的示意图,整个集群是由多个角色完全相同的节点所组成的。因为没有非凡的节点,所以任何节点宕机都不会影响整个集群节点之间的通信。通过 rest 跟 RPC 去通信的,次要是实现分布式的锁跟文件的一些操作

左边这张图是单个节点的示意图,每个节点都独自对外提供兼容 S3 的服务

为什么要用 Minio

  • 1、Minio 有良好的存储机制
  • 2、Minio 有很好纠删码的算法与擦除编码算法
  • 3、领有 RS code 编码数据复原原理
  • 4、公司做强做大时,数据的领有重要性,对数据治理与大数据分析做筹备。
  • 5、搭建本人的一套文件系统服务, 对文件数据进行平安爱护。
  • 6、领有本人的平台,不限于其余方限度。

存储机制

  • Minio 应用纠删码 erasure code 和校验和 checksum 来爱护数据免受硬件故障和无声数据损坏。即使失落一半数量(N/2)的硬盘,依然能够复原数据。

纠删码

  • 纠删码是一种复原失落和损坏数据的数学算法,目前,纠删码技术在分布式存储系统中的利用次要有三类,阵列纠删码(Array Code: RAID5、RAID6 等)、RS(Reed-Solomon)里德 - 所罗门类纠删码和 LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。Erasure Code 是一种编码技术,它能够将 n 份原始数据,减少 m 份数据,并能通过 n+m 份中的任意 n 份数据,还原为原始数据。即如果有任意小于等于 m 份的数据生效,依然能通过剩下的数据还原进去

MinIO 概念

如下图,每一行是一个机器节点 ,这里有 32 个集群, 每个节点里有一个小方块,咱们称之为 Drive,Drive 可简略地了解为磁盘。一个节点有 32 个 Drive,相当于 32 个磁盘。

Set 是一组 Drive 的汇合,所有红色标识的 Drive 组成了一个 Set。


一个对象存储在一个 Set 上; 一个集群划分为多个 Set
一个 Set 蕴含的 Drive 数量是固定的, 默认由零碎依据集群规模主动计算得出 MINIO_ERASURE_SET_DRIVE_COUNT
一个 SET 中的 Drive 尽可能散布在不同的节点上

部署

Minio 提供了两种部署形式:单机部署和分布式,两种部署形式都非常简单,其中分布式部署还提供了纠删码性能来升高数据失落的危险

单机部署:

wget https://dl.min.io/server/minio/release/linux-amd64/minio`
chmod +x minio
./minio server /data  #/data 目录不存在,要新建一个 `

Docker 部署 Minio

mkdir /data/minio-data&&mkdir /data/minio-config # 创立一个数据存储目录
docker run -p 9000:9000 --name minio \
-d --restart=always \
-e "MINIO_ACCESS_KEY=admin" \
-e "MINIO_SECRET_KEY=admin123456" \
-v /data/minio-data:/data \
-v /data/minio-config:/root/.minio \
minio/minio server /data

http://localhost:9000/ 即可登陆 Minio 的治理界面

分布式 Minio


单机 Minio 服务存在单点故障,相同,如果是一个有 m 台服务器,n 块硬盘的分布式 Minio, 只有有 m/2 台服务器或者 m*n/2 及更多硬盘在线,你的数据就是平安的。

例如,一个 16 节点的 Minio 集群,每个节点 200 块硬盘,就算 8 台服務器宕机,即大略有 1600 块硬盘,这个集群依然是可读的,不过你须要 9 台服務器在线能力写数据。

export MINIO_ACCESS_KEY=<ACCESS_KEY>
export MINIO_SECRET_KEY=<SECRET_KEY>
minio server http://host{1...n}/export{1...m} http://host{1...o}/export{1...m}

当然如果咱们只有一台机器,然而想用纠删码的性能,也能够间接配置应用多个本地盘
minio server /data1 /data2 /data3 ... /data8

Minio 配置

默认的配置目录是 ${HOME}/.minio,你能够应用 –config-dir 命令行选项重写之。MinIO server 在首次启动时会生成一个新的 config.json,外面带有主动生成的拜访凭据。
minio server --config-dir /etc/minio /data

  • 证书目录

TLS 证书存在 ${HOME}/.minio/certs 目录下,你须要将证书放在该目录下来启用 HTTPS 

  • 凭据

只能通过环境变量 MINIO_ROOT_USER 和 MINIO_ROOT_PASSWORD 更改 MinIO 的 admin 凭据和 root 凭据。应用这两个值的组合,MinIO 加密存储在后端的配置

export MINIO_ROOT_USER=minio
export MINIO_ROOT_PASSWORD=minio13
minio server /data

如何存储和拜访对象

将对象数据存储到 Minio 中有以下几种形式:
• 通过 MINIO CLIENT
• 通过 MINIO SDK 目前反对的语言包含:Go,Java,Node.js,Python,.NET
• 通过浏览器拜访 Web 治理界面,在治理界面中上传和下载对象
• 如果你有存储目录 minio-data 的账号和拜访权限,能够间接应用 SCP 命令将数据写入磁盘

MinIO Client (mc)

wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc

MinIO Client (mc)为 ls,cat,cp,mirror,diff,find 等 UNIX 命令提供了一种代替计划。它反对文件系统和兼容 Amazon S3 的云存储服务(AWS Signature v2 和 v4)。

命令应用

ls       ` 列出文件和文件夹。“
mb       创立一个存储桶或一个文件夹。
cat      显示文件和对象内容。
pipe     将一个 STDIN 重定向到一个对象或者文件或者 STDOUT
share    生成用于共享的 URL
cp       拷贝文件和对象。
mirror   给存储桶和文件夹做镜像。
find     基于参数查找文件。
diff     对两个文件夹或者存储桶比拟差别。
rm       删除文件和对象。
events   治理对象告诉。
watch    监听文件和对象的事件。
policy   治理拜访策略。
session  cp 命令治理保留的会话。
config   治理 mc 配置文件。
update   查看软件更新。
version  ` 输入版本信息。

列出 Mino 服务端

命令行创立 bucket

通过代码存储对象

// 结构拜访对象
var minio = new MinioClient("localhost:9000","accessKey","secretKey");
// 输入所有的 Buckets 
var rs = minio.ListBucketsAsync();
foreach (varbucket in rs.Result.Buckets)
{Console.Out.WriteLine(bucket.Name + " " + bucket.CreationDateDateTime);
}
// 存储对象
var bucketName = "logs";
var objectName = "logs.zip";
var filePath = "c:\\logs.zip";
var contentType = "application/zip";
minio.PutObjectAsync(bucketName, objectName, filePath, contentType);
// 获取对象
var find  = minio.GetObjectAsync(bucketName, objectName)
退出移动版