阿里云OSS

一、ossutil 工具应用

以命令行形式治理OSS数据的工具，提供方便、简洁、丰盛的Bucket和Object治理命令，反对Windows、Linux、 Mac平台

配置步骤
1、下载对应客户端

https://help.aliyun.com/document_detail/120075.html?spm=a2c4g.11186623.6.702.35c134afzc5m1n

2、配置ossuntil依赖文件config

  首先从RAM访问控制 获取用户AccessKey 外面蕴含accessKeyID、accessKeySecret信息，用户须要设置OSS对应的操作权限

3、运行下载的./ossutil配置config认证权限

./ossutil64  configendpoint：填写Bucket所在地区的域名信息，可参考拜访域名和数据中心。accessKeyID：查看形式请参考创立AccessKey。accessKeySecret：查看形式请参考创立AccessKey。stsToken：非必配项，若采纳STS长期受权形式拜访OSS须要配置该项，否则置空即可。stsToken生成形式参考长期拜访凭证。

config文件默认寄存到对应用户的家目录 其它地位可应用， --config-file参数 指定config文件的寄存地位

定时工作、自动化脚本之类须要零碎主动执行的，寄存地位为
C:\Windows\System32\config\systemprofile

4、罕用复制命令cp、OSS门路是辨别大小写的
上传：格局：./ossutil cp -r -- dir oss://bucket/path
下载：把上格局对换门路就行

例:从OSS对象桶testoss拷贝 2020422.zip 到D:\oss盘

--update对存在的文件进行更新 --parallel 4 以4个线程同时下载./ossutil cp  -r  --update  --parallel 4   oss://testoss/2020422.zip   D:\oss

常见谬误

谬误一 unexpected EOF
OSS下载单个大文件（超过2G以上)容易报EOF谬误，起因是并发太多 线程之间抢占资源导致报错，能够用 probe 命令对下载进行测试，依据测试值指定并发数 --parallel

./ossutilmac64  probe --probe download-speed --bucketname liupeng72 --object oss-browser-darwin-x64-1.zip

谬误二 查看零碎工夫是否正确

FinishWithError: Scanned 1 objects. Error num: 1. OK num: 0, Transfer size: 0.Error: oss: service returned error: StatusCode=403, ErrorCode=, ErrorMessage="", RequestId=5EB3BD0764BB29FE4E302BC0, Bucket=yqexeftp, Object=update/rummsvr.exe

二、oss ossfs Bucket挂载工具

ossfs工具简介
ossfs能让您在Linux零碎中，将对象存储OSS的存储空间（Bucket）挂载到本地文件系统中，您可能像操作本地文件一样操作OSS的对象（Object），实现数据的共享。

应用限度
ossfs应用有以下限度：
不反对挂载归档型Bucket。
编辑已上传文件会导致文件被从新上传。
元数据操作，例如list directory，因为须要近程拜访OSS服务器，所以性能较差。
重命名文件/文件夹可能会出错。若操作失败，可能会导致数据不统一。
不适宜高并发读/写的场景。
多个客户端挂载同一个OSS Bucket时，数据一致性由您自行保护。例如正当布局文件应用工夫，避免出现多个客户端写同一个文件的状况。
不反对hard link。

1.疾速装置 下载ossfs安装包
因为低版本的Linux零碎内核版本比拟低，ossfs过程在运行过程中容易呈现掉线或者其余问题。因而建议您将操作系统降级到CentOS 7.0或者Ubuntu 14.04及以上版本。

以下载CentOS 7.0 (x64)版本为例：
wget http://gosspublic.alicdn.com/...

2.装置ossfs
CentOS6.5及以上零碎版本的装置命令：

sudo yum localinstall your_ossfs_package

阐明 对于应用yum装置rpm包的客户端，如果客户端节点网络环境非凡，无奈间接用yum下载依赖包。能够在网络失常的、雷同版本操作系统的节点上，应用yum下载依赖包并拷贝到网络非凡的节点。例如，ossfs须要依赖fuse 2.8.4以上版本，可应用如下命令，下载yum源中最新的fuse到本地：

sudo yum install --downloadonly --downloaddir=./ fuse

如果须要下载其余依赖包，则将fuse换成对应包的名称。

3.配置账号访问信息
将Bucket名称以及具备此Bucket拜访权限的AccessKeyId/AccessKeySecret信息寄存在/etc/passwd-ossfs文件中。留神这个文件的权限必须正确设置，倡议设为640。

echo my-bucket:my-access-key-id:my-access-key-secret > /etc/passwd-ossfschmod 640 /etc/passwd-ossfs

4.将Bucket挂载到指定目录

ossfs my-bucket my-mount-point -ourl=my-oss-endpoint
挂载示例：将杭州地区名称为bucket-test的Bucket挂载到/tmp/ossfs目录下。

echo bucket-test:LTAIbZcdVCmQ****:MOk8x0y9hxQ31coh7A5e2MZEUz**** > /etc/passwd-ossfschmod 640 /etc/passwd-ossfsmkdir /tmp/ossfsossfs bucket-test /tmp/ossfs -ourl=http://oss-cn-hangzhou.aliyuncs.com

配置拜访权限
ossfs挂载的目录拜访权限默认为挂载点的所有者，即执行挂载命令的用户，其余用户无法访问。如果要批改默认的权限设置，例如容许其余用户或用户组拜访挂载点，能够在运行ossfs的时候应用如下参数，做到冀望的权限设置。
allow_other：赋予计算机上其余用户拜访挂载目录的权限，但不包含目录内的文件。如果您要更改文件夹中的文件拜访权限，请用chmod命令。该选项不须要设置选项值，如果须要启用，请间接增加-oallow_other选项。
uid：设置文件夹属于某个用户时填写的用户uid。
gid：设置文件夹属于某个用户时填写的用户gid。
mp_umask：用来设定挂载点的权限掩码，只有当allow_other选项设置后，该选项才失效，默认值为000。应用办法与umask命令应用形式统一。例如须要设置挂载点的权限为770，则减少-oallow_other -omp_umask=007；须要设置挂载点的权限为700，则减少-oallow_other -omp_umask=077。

配置示例：
容许所用的用户拜访，即权限为777

ossfs bucket_name mount_point -ourl=endpoint -oallow_other

只容许同组的用户拜访，即权限为770

ossfs bucket_name mount_point -ourl=endpoint -oallow_other -omp_umask=007

挂载时指定为其余用户和组，同时只容许同组的用户拜访，即权限为770
以www用户为例阐明，先通过id命令获取用户的uid/gid信息，之后在挂载时指定uid/gid参数。

id wwwuid=1000(www) gid=1000(web) groups=1000(web)ossfs bucket_name mount_point -ourl=endpoint -oallow_other -ouid=1000 -ogid=1000 -omp_umask=007

挂载指定文件目录
ossfs除了能够把整个存储空间挂载到本地文件系统外，还能够通过设置前缀，把存储空间下的某个文件目录挂载到本地文件系统。命令格局如下：

ossfs bucket:/prefix mount_point -ourl=endpoint

通过这个形式挂载时，须要确保存储空间里存在${prefix}/ 这样一个对象。能够通过ossutil的stat命令查问该对象是否存在。

示例：将位于杭州地区的存储空间bucket-ossfs-test下的folder目录挂载到/tmp/ossfs-folder下。

ossfs bucket-ossfs-test:/folder /tmp/ossfs-folder -ourl=http://oss-cn-hangzhou.aliyuncs.com

AWS S3

三、AWS CLI S3拜访工具

AWS CLI 提供对 AWS 服务的公共 API 的间接拜访。您能够应用 AWS CLI 摸索服务的性能，能够开发 Shell 脚本来治理资源。或者，也能够通过 AWS 开发工具包利用所学常识开发其余语言的程序。它相似阿里oss ossutil工具，大家能够通过这些接口，编写脚本命令来对AWS的资源进行罕用的操作
1.下载客户端
https://docs.aws.amazon.com/z...

2.配置s3依赖文件configure
S3 依赖信息文件是通过两个文件离开保留的，默认保留在家目录下 Linux、Windows
以上面官网阐明
AWS CLI 将应用 aws configure 指定的凭证存储在主目录中名为 .aws 的文件夹中名为 credentials 的本地文件中。应用 aws configure 指定的其余配置选项存储在名为 config 的本地文件中，该文件也存储在主目录的 .aws 文件夹中。主目录地位因操作系统而异，但在 Windows 中应用环境变量 %UserProfile% 援用，在基于 Unix 的零碎中应用 "$HOME"或 ~（波形符）援用。

例如，上面的命令列出 .aws 文件夹的内容。
-Linux 或 macOS

$ ls  ~/.aws

-Windows

C:\> dir "%UserProfile%\.aws"

AWS CLI 应用两个文件将敏感的凭证信息（位于 ~/.aws/credentials 中）与不太敏感的配置选项（位于 ~/.aws/config 中）离开

配置configure

$ aws configure AWS Access Key ID [None]: AKIAIOSFOxxxxvxxxxxnFEAWS Secret Access Key [None]: wJalrXUtnFEMIxxxxvxxxxxPLEKEYDefault region name [None]: us-wxx-1Default output format [None]: json

4、上面还是以罕用复制命令sync命令以例，其它有性能能够参考官网文档

$ aws s3 sync <source> <target> [--options]

上面的示例将 my-bucket 中名为 path 的 Amazon S3 文件夹中的内容与当前工作目录同步。s3 sync 将更新与指标中的同名文件具备不同大小或批改工夫的任何文件。输入显示在同步期间执行的特定操作。请留神，此操作将子目录 MySubdirectory 及其内容与 s3://my-bucket/path/MySubdirectory 递归同步。

$ aws s3 sync . s3://my-bucket/pathupload: MySubdirectory\MyFile3.txt to s3://my-bucket/path/MySubdirectory/MyFile3.txtupload: MyFile2.txt to s3://my-bucket/path/MyFile2.txtupload: MyFile1.txt to s3://my-bucket/path/MyFile1.txt

其它几个常用命令
aws configure list #查看配置信息
aws s3 ls #显示你有权限的桶
aws 没有相似 oss --config-file 的选项 须要通过环境变量 AWS_CONFIG_FILE 值来设施

四、aws S3 挂载工具s3fs-fuse

1.S3FS介绍
S3FS是google开发的一款反对将对象存储中的bucket以文件模式导出的文件系统接口，兼容POSIX语义。S3fs是基于FUSE开发文件系统，容许Linux和Mac Os X挂载S3的存储桶在本地文件系统，S3fs可能放弃对象原来的格局

2、装置必要的软件依赖

sudo yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel mailcap

3、应用git命令下载及装置s3fs

git clone https://github.com/s3fs-fuse/s3fs-fuse.gitcd s3fs-fuse./autogen.sh./configuremake && make install

4、检测s3fs是否失效，如呈现以下后果示意失效

# s3fss3fs: missing BUCKET argument.Usage: s3fs BUCKET:[PATH] MOUNTPOINT [OPTION]...

5、生成密钥文件并受权，其中的密钥为IAM用户生成

echo AKIAIOEO4xxxxxxxxxx:2LXBboddEpRLmWl48i3+b4zixxxxxvxxxxxxxx > /etc/.passwd-s3fschmod 600 /usr/xj/.passwd-s3fs

6、非AWS EC2手动挂载非域名为桶名的存储桶，url依据存储桶所在的区域不同更换网址，挂载目录须要提前建设，url地址能够轻易关上一个存储桶的文件取得

格局  s3fs  桶名   本地目录   指定秘钥文件   桶对应的URLs3fs bucket-name   Local directory -o passwd_file=/etc/.passwd-s3fs  -o url=https://s3.xxxxxxxx.amazonaws.com

加写权限 -o default_acl="public-read-write -o use_path_request_style -o allow_other

https://docs.aws.amazon.com/z...
s3fs "www.tclub.in" /s3/tclub_in -o passwd_file=/etc/.passwd-s3fs -o url=https://s3.ap-south-1.amazonaws.com  -o  default_acl="public-read-write  -o use_path_request_style -o allow_other

7、非AWS EC2手动挂载以域名为桶名的存储桶

s3fs "s3.xxxxxxxx.amazonaws.com" /s3/xxx -o passwd_file=/etc/.passwd-s3fs -o url=https://s3.xxxxxxxx.amazonaws.com  -o  use_path_request_style

8、EC2挂载非域名为桶名的存储桶

s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/etc/.passwd-s3fs -o endpoint=apxx-northxxx-1

9、EC2挂载以域名为桶名的存储桶

s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/etc/.passwd-s3fs -o endpoint=apxx-northxxx-1 -o use_path_request_style

最初勾销挂载 间接umunot 会报设施忙

ps aux|grep s3fkill -9  过程号umount -l  /XXX

常见谬误

  • 挂载失败
    日志谬误:

    [root@r7003 ~]# s3fs youxibak /tmp/s3/ -o passwd_file=/root/.aws/passwd-s3fs  -o url=https://testbucket.s3.ap-south-1.amazonaws.com -o endpoint=ap-south-1 -o use_path_request_style -o allow_otherAug 27 07:28:28 r7003 dbus[646]: [system] Activating via systemd: service name='org.freedesktop.nm_dispatcher' unit='dbus-org.freedesktop.nm-dispatcher.service'
  • 谬误起因:https地址不对
https://testbucket.s3.ap-sout...
  • 应该应用
https://s3.ap-south-1.amazona...