关于服务器:恒源云Gpushare模块化oss数据上传小技巧

10次阅读

共计 636 个字符,预计需要花费 2 分钟才能阅读完成。

文章起源 | 恒源云社区

原文地址 |【实用代码分享】

原文作者 | 阿洲


嘿嘿,我又来啦~
仍旧给大家带来的是咱们社区“阿洲”版主的帖子。和其余版主相比来说,阿洲小哥哥发帖有个很显著特点:精简!
所以,接下来的内容不是简明扼要,只是一个超实用的小分享。
跟着小编一起看上来吧😊

前言

极致薅羊毛的重点是什么?就是尽量保障实例开机后的每一分钟都用在了训练上,当然实际上不可能做到这么极致,一个大的方向就是把【训练】和【训练后果剖析】拆解开,尽量做到训练在实例,剖析在本地。这其中要害的一步就是在关机前将训练后果或者是训练好的模型上传到 oss。

实现成果

# 想要实现的是每次取得试验后果后,只须要用运行一下这个 bash 文件就好
./oss.sh

构建 oss.sh 文件

#!/bin/bash
# 1:能够用 cd 到试验后果寄存的文件夹,或者间接把这个 oss 文件放在文件夹中,这里的举例是前面的这种状况。# 2:登录 oss
oss login
# 3:压缩数据
loc="oss://results/" # loc: oss 中须要寄存的地位
f_n="XXX.zip" # f_n 压缩后的文件名

f1="XX/" # f1: 须要压缩的文件夹或单个文件
f2="" # 备用,如需压缩多个文件夹或多个文件

zip -r ${f_n} ${f1}

# 4: 上传到 oss
oss cp ${f_n} ${loc}

# 5: 删除压缩文件
rm ${f_n}

# 6: 关机
shutdown

留神

这里须要留神的是本人尝试的时候,倡议先把最初一句 shutdown 正文掉,免得后面某些步骤出错后重复关机。

正文完
 0