乐趣区

DSW面向AI研发的集成开发平台

发布会传送门 产品详情 云原生技术,注重用户体验,提升研发效率 环境搭建是算法研发过程中的重要一环,这里除了硬件选型外,软件环境的安装配置,后续升级往往会耗费不少时间。DSW 借助阿里云 ECS,Docker 和 Kubernetes 等云原生技术,能够在 2,3 分钟内帮用户完成环境搭建。用户可以根据算法需要和成本考虑,选择阿里云 ECS 提供的包括 CPU 和异构计算 GPU 在内的所有资源规格。不仅支持预付费,还支持后付费。DSW 还配置了 10 多种适用于不同 AI 场景的典型软件环境配置,包括 Tensorflow 和 PyTorch 等主流训练框架的不同版本组合,供用户选择。作为高度开放的开发环境,DSW 开放 sudo 权限给用户、支持任意第三方库安装。为了满足不同水平层次和开发习惯的算法用户,结合可视化,交互式编程和命令行输入,DSW 提供了 3 种编程入口:WebIde 适用于工程化要求比较高的项目;JupyterLab 适用于快速 POC 试验;Terminal 入口可用于快速执行 Shell 命令,运行程序和简单的编辑等。

DSW 还开发和预装了各种 JupyterLab 和 WebIDE 插件,比如广受深度学习开发者喜爱的可视化工具 Tensorboard,用户在 DSW 内通过 Launcher,Commands 打开,甚至还可以使用 %tensorboard 魔法命令直接在 Notebook 中开启等多种方式使用 Tensorboard。不仅支持本地文件,还可以打开存放在 OSS,ODPS 里的训练日志。针对算法同学使用 Python 比较多的特点,DSW 的 WebIDE 内安装了 Python 插件,可以直接在浏览器内在线调试,单步跟踪程序运行。用户还可以根据需要,自主安装需要的任意插件。DSW 支持多种数据源读写,包括 NAS,OSS,云盘和 MaxCompute,尤其是内置了 dswmagic 魔法命令可以让用户在 ipynb 文件中使用 SQL 语句读写 MaxCompute 表中数据,预置的 SQL 编辑器支持语法高亮、智能提示、自动补全等功能,还支持运行带变量替换功能的 Sql 脚本。查询结果自动以最友好的图形化展示。为了节省资源成本,用户可以利用停机不收费功能,在实例闲置不用时关机保存环境,需要时再一键快速恢复。此外,DSW 支持用户自定义镜像安装,可以基于之前保存或定制的环境创建实例。DSW 在公有云上支持了多次百队以上规模的天池大赛,在阿里集团内同样也承接着比赛,经过千锤百炼,证明不仅适合个人和团队研发,也支持大规模算法竞赛和教育培训。安全性和稳定性是用户比较关心的问题,DSW 使用的计算,存储和网络资源,完全是使用用户自己的账号购买,并部署到用户自己的 vpc 内部,可以方便与用户其他数据打通。用户间完全隔离,还具备非常好的安全性。基于阿里云 ECS 和容器服务,稳定性有保障。集成 PAI 的各能力组件,加速业务落地 身为 PAI 这个大家庭的一员,DSW 除了完成单机开发训练功能之外,还内置部分 PAI 的基础能力。比如用户可以直接在实例内利用 PAI 视觉类算法包 EasyVision 进行图像分类训练评估、预测;通过自动调参 AutoML 进行算法超参数自动调优;用户甚至能够无感知的享受 PAI 编译优化算法组件 TAO 提供的训练过程中的算子优化。最后,DSW 还提供了供算法直接读取 MaxCompute 表数据的 CommonIO 组件,支持 TableRecordDataSet,TableReader,TableWriter 等标准接口,方便训练程序直接提交到 PAI 的分布式训练集群。可以预见,在不久的将来,会有更多的 PAI 算法包内置进 DSW 基础镜像内。DSW 也会依赖 PAI SDK,围绕数据读取,加工,模型训练,模型管理以及在线服务等 AI 研发生产流程的关键环节,为用户提供像 Pipeline 搭建,调度和管理之类的一条龙服务。

退出移动版