关于aws运维-aws代维:阿里云OSSAWS-S3-使用挂载方法简介

6次阅读

共计 7049 个字符，预计需要花费 18 分钟才能阅读完成。

以命令行形式治理 OSS 数据的工具，提供方便、简洁、丰盛的 Bucket 和 Object 治理命令，反对 Windows、Linux、Mac 平台

配置步骤
1、下载对应客户端

https://help.aliyun.com/document_detail/120075.html?spm=a2c4g.11186623.6.702.35c134afzc5m1n

2、配置 ossuntil 依赖文件 config

  首先从 RAM 访问控制 获取用户 AccessKey 外面蕴含 accessKeyID、accessKeySecret 信息，用户须要设置 OSS 对应的操作权限

3、运行下载的./ossutil 配置 config 认证权限

./ossutil64  config
endpoint：填写 Bucket 所在地区的域名信息，可参考拜访域名和数据中心。accessKeyID：查看形式请参考创立 AccessKey。accessKeySecret：查看形式请参考创立 AccessKey。stsToken：非必配项，若采纳 STS 长期受权形式拜访 OSS 须要配置该项，否则置空即可。stsToken 生成形式参考长期拜访凭证。

config 文件默认寄存到对应用户的家目录其它地位可应用，–config-file 参数指定 config 文件的寄存地位

定时工作、自动化脚本之类须要零碎主动执行的，寄存地位为
C:\Windows\System32\config\systemprofile

4、罕用复制命令 cp、OSS 门路是辨别大小写的
上传：格局：./ossutil cp -r — dir oss://bucket/path
下载：把上格局对换门路就行

例: 从 OSS 对象桶 testoss 拷贝 2020422.zip 到 D:\oss 盘

--update 对存在的文件进行更新 
--parallel 4 以 4 个线程同时下载

./ossutil cp  -r  --update  --parallel 4   oss://testoss/2020422.zip   D:\oss

谬误一 unexpected EOF
OSS 下载单个大文件（超过 2G 以上)容易报 EOF 谬误，起因是并发太多线程之间抢占资源导致报错，能够用 probe 命令对下载进行测试，依据测试值指定并发数 –parallel

./ossutilmac64  probe --probe download-speed --bucketname liupeng72 --object oss-browser-darwin-x64-1.zip

谬误二查看零碎工夫是否正确

FinishWithError: Scanned 1 objects. Error num: 1. OK num: 0, Transfer size: 0.
Error: oss: service returned error: StatusCode=403, ErrorCode=, ErrorMessage="", RequestId=5EB3BD0764BB29FE4E302BC0, Bucket=yqexeftp, Object=update/rummsvr.exe

ossfs 工具简介
ossfs 能让您在 Linux 零碎中，将对象存储 OSS 的存储空间（Bucket）挂载到本地文件系统中，您可能像操作本地文件一样操作 OSS 的对象（Object），实现数据的共享。

应用限度
ossfs 应用有以下限度：
不反对挂载归档型 Bucket。
编辑已上传文件会导致文件被从新上传。
元数据操作，例如 list directory，因为须要近程拜访 OSS 服务器，所以性能较差。
重命名文件 / 文件夹可能会出错。若操作失败，可能会导致数据不统一。
不适宜高并发读 / 写的场景。
多个客户端挂载同一个 OSS Bucket 时，数据一致性由您自行保护。例如正当布局文件应用工夫，避免出现多个客户端写同一个文件的状况。
不反对 hard link。

1. 疾速装置下载 ossfs 安装包
因为低版本的 Linux 零碎内核版本比拟低，ossfs 过程在运行过程中容易呈现掉线或者其余问题。因而建议您将操作系统降级到 CentOS 7.0 或者 Ubuntu 14.04 及以上版本。

以下载 CentOS 7.0 (x64)版本为例：
wget http://gosspublic.alicdn.com/…

2. 装置 ossfs
CentOS6.5 及以上零碎版本的装置命令：

sudo yum localinstall your_ossfs_package

阐明对于应用 yum 装置 rpm 包的客户端，如果客户端节点网络环境非凡，无奈间接用 yum 下载依赖包。能够在网络失常的、雷同版本操作系统的节点上，应用 yum 下载依赖包并拷贝到网络非凡的节点。例如，ossfs 须要依赖 fuse 2.8.4 以上版本，可应用如下命令，下载 yum 源中最新的 fuse 到本地：

sudo yum install --downloadonly --downloaddir=./ fuse

如果须要下载其余依赖包，则将 fuse 换成对应包的名称。

3. 配置账号访问信息
将 Bucket 名称以及具备此 Bucket 拜访权限的 AccessKeyId/AccessKeySecret 信息寄存在 /etc/passwd-ossfs 文件中。留神这个文件的权限必须正确设置，倡议设为 640。

echo my-bucket:my-access-key-id:my-access-key-secret > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs

4. 将 Bucket 挂载到指定目录

ossfs my-bucket my-mount-point -ourl=my-oss-endpoint
挂载示例：将杭州地区名称为 bucket-test 的 Bucket 挂载到 /tmp/ossfs 目录下。

echo bucket-test:LTAIbZcdVCmQ****:MOk8x0y9hxQ31coh7A5e2MZEUz**** > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
mkdir /tmp/ossfs
ossfs bucket-test /tmp/ossfs -ourl=http://oss-cn-hangzhou.aliyuncs.com

配置拜访权限
ossfs 挂载的目录拜访权限默认为挂载点的所有者，即执行挂载命令的用户，其余用户无法访问。如果要批改默认的权限设置，例如容许其余用户或用户组拜访挂载点，能够在运行 ossfs 的时候应用如下参数，做到冀望的权限设置。
allow_other：赋予计算机上其余用户拜访挂载目录的权限，但不包含目录内的文件。如果您要更改文件夹中的文件拜访权限，请用 chmod 命令。该选项不须要设置选项值，如果须要启用，请间接增加 -oallow_other 选项。
uid：设置文件夹属于某个用户时填写的用户 uid。
gid：设置文件夹属于某个用户时填写的用户 gid。
mp_umask：用来设定挂载点的权限掩码，只有当 allow_other 选项设置后，该选项才失效，默认值为 000。应用办法与 umask 命令应用形式统一。例如须要设置挂载点的权限为 770，则减少 -oallow_other -omp_umask=007；须要设置挂载点的权限为 700，则减少 -oallow_other -omp_umask=077。

配置示例：
容许所用的用户拜访，即权限为 777

ossfs bucket_name mount_point -ourl=endpoint -oallow_other

只容许同组的用户拜访，即权限为 770

ossfs bucket_name mount_point -ourl=endpoint -oallow_other -omp_umask=007

挂载时指定为其余用户和组，同时只容许同组的用户拜访，即权限为 770
以 www 用户为例阐明，先通过 id 命令获取用户的 uid/gid 信息，之后在挂载时指定 uid/gid 参数。

id www
uid=1000(www) gid=1000(web) groups=1000(web)
ossfs bucket_name mount_point -ourl=endpoint -oallow_other -ouid=1000 -ogid=1000 -omp_umask=007

挂载指定文件目录
ossfs 除了能够把整个存储空间挂载到本地文件系统外，还能够通过设置前缀，把存储空间下的某个文件目录挂载到本地文件系统。命令格局如下：

ossfs bucket:/prefix mount_point -ourl=endpoint

通过这个形式挂载时，须要确保存储空间里存在 ${prefix}/ 这样一个对象。能够通过 ossutil 的 stat 命令查问该对象是否存在。

示例：将位于杭州地区的存储空间 bucket-ossfs-test 下的 folder 目录挂载到 /tmp/ossfs-folder 下。

ossfs bucket-ossfs-test:/folder /tmp/ossfs-folder -ourl=http://oss-cn-hangzhou.aliyuncs.com

AWS CLI 提供对 AWS 服务的公共 API 的间接拜访。您能够应用 AWS CLI 摸索服务的性能，能够开发 Shell 脚本来治理资源。或者，也能够通过 AWS 开发工具包利用所学常识开发其余语言的程序。它相似阿里 oss ossutil 工具，大家能够通过这些接口，编写脚本命令来对 AWS 的资源进行罕用的操作
1. 下载客户端
https://docs.aws.amazon.com/z…

2. 配置 s3 依赖文件 configure
S3 依赖信息文件是通过两个文件离开保留的，默认保留在家目录下 Linux、Windows
以上面官网阐明
AWS CLI 将应用 aws configure 指定的凭证存储在主目录中名为 .aws 的文件夹中名为 credentials 的本地文件中。应用 aws configure 指定的其余配置选项存储在名为 config 的本地文件中，该文件也存储在主目录的 .aws 文件夹中。主目录地位因操作系统而异，但在 Windows 中应用环境变量 %UserProfile% 援用，在基于 Unix 的零碎中应用 “$HOME” 或 ~（波形符）援用。

例如，上面的命令列出 .aws 文件夹的内容。
-Linux 或 macOS

$ ls  ~/.aws

-Windows

C:\> dir "%UserProfile%\.aws"

AWS CLI 应用两个文件将敏感的凭证信息（位于 ~/.aws/credentials 中）与不太敏感的配置选项（位于 ~/.aws/config 中）离开

配置 configure

$ aws configure 
AWS Access Key ID [None]: AKIAIOSFOxxxxvxxxxxnFE
AWS Secret Access Key [None]: wJalrXUtnFEMIxxxxvxxxxxPLEKEY
Default region name [None]: us-wxx-1
Default output format [None]: json

4、上面还是以罕用复制命令 sync 命令以例，其它有性能能够参考官网文档

$ aws s3 sync <source> <target> [--options]

上面的示例将 my-bucket 中名为 path 的 Amazon S3 文件夹中的内容与当前工作目录同步。s3 sync 将更新与指标中的同名文件具备不同大小或批改工夫的任何文件。输入显示在同步期间执行的特定操作。请留神，此操作将子目录 MySubdirectory 及其内容与 s3://my-bucket/path/MySubdirectory 递归同步。

$ aws s3 sync . s3://my-bucket/path
upload: MySubdirectory\MyFile3.txt to s3://my-bucket/path/MySubdirectory/MyFile3.txt
upload: MyFile2.txt to s3://my-bucket/path/MyFile2.txt
upload: MyFile1.txt to s3://my-bucket/path/MyFile1.txt

其它几个常用命令
aws configure list #查看配置信息
aws s3 ls #显示你有权限的桶
aws 没有相似 oss –config-file 的选项须要通过环境变量 AWS_CONFIG_FILE 值来设施

1.S3FS 介绍
S3FS 是 google 开发的一款反对将对象存储中的 bucket 以文件模式导出的文件系统接口，兼容 POSIX 语义。S3fs 是基于 FUSE 开发文件系统，容许 Linux 和 Mac Os X 挂载 S3 的存储桶在本地文件系统，S3fs 可能放弃对象原来的格局

2、装置必要的软件依赖

sudo yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel mailcap

3、应用 git 命令下载及装置 s3fs

git clone https://github.com/s3fs-fuse/s3fs-fuse.git
cd s3fs-fuse
./autogen.sh
./configure
make && make install

4、检测 s3fs 是否失效，如呈现以下后果示意失效

# s3fs
s3fs: missing BUCKET argument.
Usage: s3fs BUCKET:[PATH] MOUNTPOINT [OPTION]...

5、生成密钥文件并受权，其中的密钥为 IAM 用户生成

echo AKIAIOEO4xxxxxxxxxx:2LXBboddEpRLmWl48i3+b4zixxxxxvxxxxxxxx > /etc/.passwd-s3fs
chmod 600 /usr/xj/.passwd-s3fs

6、非 AWS EC2 手动挂载非域名为桶名的存储桶，url 依据存储桶所在的区域不同更换网址，挂载目录须要提前建设，url 地址能够轻易关上一个存储桶的文件取得

格局  s3fs  桶名   本地目录   指定秘钥文件   桶对应的 URL
s3fs bucket-name   Local directory -o passwd_file=/etc/.passwd-s3fs  -o url=https://s3.xxxxxxxx.amazonaws.com

加写权限 -o default_acl=”public-read-write -o use_path_request_style -o allow_other

https://docs.aws.amazon.com/z…

s3fs "www.tclub.in" /s3/tclub_in -o passwd_file=/etc/.passwd-s3fs -o url=https://s3.ap-south-1.amazonaws.com  -o  default_acl="public-read-write  -o use_path_request_style -o allow_other

7、非 AWS EC2 手动挂载以域名为桶名的存储桶

s3fs "s3.xxxxxxxx.amazonaws.com" /s3/xxx -o passwd_file=/etc/.passwd-s3fs -o url=https://s3.xxxxxxxx.amazonaws.com  -o  use_path_request_style

8、EC2 挂载非域名为桶名的存储桶

s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/etc/.passwd-s3fs -o endpoint=apxx-northxxx-1

9、EC2 挂载以域名为桶名的存储桶

s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/etc/.passwd-s3fs -o endpoint=apxx-northxxx-1 -o use_path_request_style

最初勾销挂载间接 umunot 会报设施忙

ps aux|grep s3f
kill -9  过程号
umount -l  /XXX

挂载失败
日志谬误:

[root@r7003 ~]# s3fs youxibak /tmp/s3/ -o passwd_file=/root/.aws/passwd-s3fs  -o url=https://testbucket.s3.ap-south-1.amazonaws.com -o endpoint=ap-south-1 -o use_path_request_style -o allow_other

Aug 27 07:28:28 r7003 dbus[646]: [system] Activating via systemd: service name='org.freedesktop.nm_dispatcher' unit='dbus-org.freedesktop.nm-dispatcher.service'

谬误起因:https 地址不对

https://testbucket.s3.ap-sout…

应该应用

https://s3.ap-south-1.amazona…

正文完

aws运维-aws代维

发表至： aws运维-aws代维

2021-09-08

0

关于aws运维-aws代维:阿里云OSSAWS-S3-使用挂载方法简介

关于aws运维-aws代维:She-Builds-Summit｜邀您一同感受她的科技力量

关于工具:HTML字符实体大全

关于aws运维-aws代维:阿里云OSSAWS-S3-使用挂载方法简介

阿里云 OSS

一、ossutil 工具应用

常见谬误

二、oss ossfs Bucket 挂载工具

AWS S3

三、AWS CLI S3 拜访工具

四、aws S3 挂载工具 s3fs-fuse

常见谬误

站内搜索