关于机器学习:在SageMaker上玩转R环境这些必会技巧你知道几个

很多童鞋可能曾经晓得，Amazon SageMaker曾经在寰球各服务区域预装R内核。此项性能开箱即用，同时预装置有reticulate库。该库负责为Amazon SageMaker Python SDK提供R接口，容许大家间接从R脚本中调用Python模块。之前咱们已经公布过一篇文章介绍这件事，欢送点击这里回顾。

如果你想进一步将这个性能施展出更多价值，那么本文就值得关注了。

下文，咱们将介绍如何在Amazon SageMaker内置的R内核之上创立自定义R环境（内核），以及如何在会话之间实现环境长久化。此外还将介绍如何在R环境中装置新的软件包，如何在Amazon Simple Storage Service（Amazon S3）上保留这套新环境，以及如何应用它通过Amazon SageMaker生命周期配置创立新的Amazon SageMaker实例。本文也提供相应bash脚本，供大家在创立或启动Amazon SageMaker notebook实例时配置生命周期。

背景介绍

Amazon SageMaker中的R内核以IRKernel软件包构建而成，该软件包将在Jupyter环境中装置名为ir且显示名称R的内核。

咱们能够应用Conda治理这套环境，并装置特定的软件包与依赖项。但在默认状况下，从Notebook实例处装置的R内核无奈长久至其余Notebooke实例的会话当中。每当启动及进行Amazon SageMaker实例时，R内核都会返回其默认环境。

本文将疏导大家应用以下资源在Amazon SageMaker中装置R软件包：

• Anaconda Cloud
• CRAN
• Github

在环境创立实现之后，咱们能够将其保留在实例的Amazon Elastic Block Store（Amazon EBS）存储当中以实现长久化。咱们也能够将该环境存储在Amazon S3上，并应用它为新的Amazon SageMaker实例构建自定义R环境。对于更多详细信息，请参阅应用生命周期配置脚本定制Notebook实例。

创立一个基于R内核的Amazon SageMaker notebook实例

要创立一个基于R内核的Amazon SageMaker notebook实例，请实现以下操作步骤：

• 创立一个Notebook实例。
• 当实例状态显示为In Service时，关上Jupyter。
• 在New下拉菜单中，抉择R。

在关上新的Notebook后，咱们将在Notebook区域的右上角看到R徽标。

对于创立基于R内核的Amazon SageMaker notebook实例的更多详细信息，请参阅在Amazon SageMaker notebook实例上应用R代码。

在Amazon SageMaker的R内核中装置软件包

Amazon SageMaker R内核提供超过140种规范软件包。要获取已装置软件包的清单，能够在配合R内核的SageMaker notebook中运行以下脚本：

installed.packages()

如果须要装置其余软件包，则能够通过Anaconda Cloud、CRAN归档或者间接通过GitHub进行装置。

通过Anaconda Cloud装置

R软件包的首选装置办法，是从Anaconda Cloud存储库进行装置。咱们能够通过这种形式拜访不同的通道（例如R与Conda Forge），从而装置软件包的特定版本。如果应用R内核在Amazon SageMaker中执行此项操作，请应用system()命令以提交conda install命令。

如果是在Amazon SageMaker Jupyter bash终端上进行装置，则可应用conda install，如下所示：

conda install -n R -c conda-forge r-rjava

但在Amazon SageMaker中，请输出以下代码：

system("conda install -n R -c conda-forge r-rjava")

上述代码应用conda-forge通道，此通道负责装置rJava的0.9_12版本（截至本文公布之时）。但如果应用以下代码（应用r channel），则将装置0.9_11版本（截至本文公布之时）：

system("conda install -n R -c r r-rjava")

要搜寻特定软件包名称并为版本抉择正确的通道，请拜访Anaconda Cloud网站并搜寻对应软件包。R软件包的命名格局为“r-<package_name>”。

Conda是装置软件包的首选办法，而Anaconda Cloud则凭借接入Conda环境最稳固版本的取向成为最佳归档选项。

通过CRAN归档装置

作为Anaconda的代替计划，大家也能够应用综合R归档网络（CRAN）归档实现装置。CRAN归档是一套由FTP与Web服务器组成的网络，散布于世界各地，其中保留有雷同的R代码以及阐明文档的最新版本。咱们能够应用此归档文件通过install.packages()在R中装置软件包，以保障装置的是软件包的最新版本。具体参见以下代码：

install.packages(c('mlbench', 'MVar'),
 repo = 'http://cran.rstudio.com',
 dependencies = TRUE)

应用以下代码将该软件包导入R代码：

library(mlbench)

Amazon SageMaker实例应用Amazon Linux AMI，这是一套从CentOS演变而来的发行版，可用于在Amazon Elastic Compute Cloud（Amazon EC2）实例当中运行Amazon SageMaker。如果打算间接通过源代码装置软件包，请保障抉择正确的操作系统。大家能够在Amazon SageMaker Jupyter bash终端中应用以下脚本查看操作系统：

sh-4.2$ cat /etc/os-release

输入后果如下所示（截至本文公布之时）：

NAME="Amazon Linux AMI"
VERSION="2018.03"
ID="amzn"
ID_LIKE="rhel fedora"
VERSION_ID="2018.03"
PRETTY_NAME="Amazon Linux AMI 2018.03"
ANSI_COLOR="0;33"
CPE_NAME="cpe:/o:amazon:linux:2018.03:ga"
HOME_URL=http://aws.amazon.com/amazon-linux-ami/

通过Github装置

咱们还能够应用devtools与install_github间接从软件包开发者的库中获取内容。具体参见以下代码：

install.packages("devtools")
devtools::install_github("malcolmbarrett/ggdag")

上述代码将装置软件包及其依赖项。但请留神，咱们不举荐将此作为Amazon SageMaker当中的首选软件包装置办法。

在不同会话间实现自定义R环境长久化

在默认状况下，每当咱们进行及启动Amazon SageMaker实例时，Amazon SageMaker都会启动根底R内核。而在进行实例时，咱们所装置的所有其余软件包都将失落，且再次启动实例时又须要重新安装各软件包 —— 很显著，这种形式既费时又麻烦。解决方案是将环境保留在实例的EBS存储之上，并在启动时应用Amazon SageMaker生命周期配置脚本将EBS存储与自定义R内核绝对接。更多信息请参阅应用生命周期配置脚本实现Notebook实例定制化。

本节将概述实现自定义R环境长久化的各个操作步骤。

将环境保留在Amazon SageMaker EBS上

首先须要通过环境克隆操作，将以后环境保留在实例的EBS存储之上。咱们能够在Amazon Sagemaker Jupyter bash终端中运行以下脚本：

conda create –prefix /home/ec2-user/SageMaker/envs/custom-r –clone R

这将在咱们有权拜访的实例EBS上的Amazon SageMaker文件夹下创立一个envs/custom-r文件夹，具体参见以下截屏内容。

如果心愿稍后在同一Amazon SageMaker实例（留神，并非在其余不同实例中）中应用这套自定义环境，则可跳过生命周期配置局部内容，间接返回本文中的应用自定义R环境启动实例局部。

在Amazon S3中保留环境以创立新的Amazon SageMaker实例

如果须要在创立Amazon SageMaker实例时重复使用同一套自定义R环境（例如在开发团队外部），能够将该环境以.zip文件模式保留至Amazon S3，并在Create步骤中将其下载至实例当中。咱们能够在Amazon SageMaker Juypyter bash终端内运行以下脚本：

zip -r ~/SageMaker/custom_r.zip ~/SageMaker/envs/
aws s3 cp ~/SageMaker/custom_r.zip s3://[YOUR BUCKET]/

通过生命周期配置，应用自定义R环境创立新实例

要创立新实例，并在该实例中应用已有的自定义环境，须要将.zip环境从Amazon S3引入以后实例。咱们能够应用生命周期配置脚本在Amazon SageMaker管制台上主动执行此项操作。该脚本将.zip文件从Amazon S3下载至实例EBS上的/SageMaker/文件夹当中、解压该文件、从新创立/envs/文件夹，而后删除冗余文件夹。

• 在Amazon SageMaker控制台的Notebook之下，抉择Lifecycle configurations。
• 抉择Create Configuration。
• 将其命名为Custom-R-Env。
• Create notebook选项卡中，输出以下脚本。

## On-Create: Bringing custom environment from S3 to SageMaker instance
## NOTE: Your SageMaker IAM role should have access to this bucket
#!/bin/bash 
sudo -u ec2-user -i <<'EOF'
aws s3 cp s3://[YOUR BUCKET]/custom_r.zip ~/SageMaker/
unzip ~/SageMaker/custom_r.zip -d ~/SageMaker/
mv ~/SageMaker/home/ec2-user/SageMaker/envs/ ~/SageMaker/envs
rm -rf ~/SageMaker/home/
rm ~/SageMaker/custom_r.zip
EOF

• 点击Create Configuration。

通过生命周期配置，应用自定义R环境启动实例

无论是在同一实例中创立自定义R环境并将其克隆至./envs/文件夹，还是在创立实例时从Amazon S3上下载.zip文件，此步骤的具体操作都完全相同。

此脚本将在./evns/文件夹（其中蕴含自定义R环境）与Anaconda Custom-R-Env环境之间创立一个链接，从而在Amazon SageMaker内核中列出该环境。

• 在Amazon SageMaker控制台的Notebook下，抉择Lifecycle configurations。
• 抉择Create Configuration。
• 将其命名为Custom-R-Env（如果曾经在之前的步骤中创立了该配置，则可间接从列表中选定配置并抉择Edit）。
• 在Start notebook选项卡上，输出以下脚本：

## On-Start: After you set up the environment in the instance
## then you can have this life-cycle config to link the custom env with kernel
#!/bin/bash 
sudo -u ec2-user -i <<'EOF' 
ln -s /home/ec2-user/SageMaker/envs/custom-r /home/ec2-user/anaconda3/envs/custom-r
EOF
echo "Restarting the Jupyter server..."
restart jupyter-server

• 点击Create Configuration（如果要编辑现有配置，则点击Update）。

将生命周期配置指定给Amazon SageMaker实例

在创立Notebook实例时，咱们能够为其指定生命周期配置。对于更多详细信息，请参阅应用生命周期配置脚本定制Notebook实例。

要应用生命周期配置（Custom-R-Env）创立一个Notebook，须要在Additional Configuration局部将该脚本指定给以后Notebook。其余操作步骤与创立惯例Amazon SageMaker实例雷同。

应用自定义R环境

在关上创立该自定义环境的现有实例时，咱们会看到各相干文件、代码以及/envs/文件夹曾经存在。

但如果创立了一个新实例，并应用生命周期脚本从Amazon S3处提取该环境，则须要实现以下操作步骤：

• 当实例状态显示为In Service时，关上Jupyter，能够看到Amazon SageMaker文件中存在一个/envs/文件夹，这就是咱们的自定义环境。
• 在New下拉菜单当中，抉择conda_r_custom-r。

当初，咱们曾经领有一个蕴含自定义R环境的Notebook。在此Notebook中，咱们会在Jupyter环境的右上角看到R徽标，这代表以后内核为R内核，内核名称应为conda_r_custom-r。要测试这套环境，请导入自定义环境中蕴含的某一套库（例如rJava）。

当初，咱们的自定义R环境曾经启动并在实例中失常运行，能够应用reticulate软件包在R中进行编程了。

论断

本文疏导大家为Amazon SageMaker notebook实例创立自定义长久R环境。对于Amazon SageMaker上的R notebook，请参阅Amazon SageMaker示例GitHub repo。对于创立基于R内核的Amazon SageMaker notebook实例的更多详细信息，请参考在Amazon SageMaker notebook实例上应用R代码博文。对于如何通过R应用Amazon SageMaker更多功能的详细信息，请拜访Amazon SageMaker R用户指南。此外，大家能够参考AWS机器学习博客获取对于Amazon SageMaker的更多业余扩大资源。