关于人工智能:智能对联模型太难完成华为云ModelArts助你实现手把手教学

6次阅读

共计 1724 个字符,预计需要花费 5 分钟才能阅读完成。

摘要:农历新年将至,据说华为云 AI 又将开启智能对对联迎接牛气冲天,让咱们刮目相待!作为资深 Copy 攻城狮,想要本人实现一个对对联的模型,是不能可能实现的工作,因而我收罗了不少前人的实际案例,明天想和大家分享的是 和鲸社区的 rua 年糕 奉献的我的项目 -AI 对联,基于 ModelArts 的 「我的笔记本」实现。

一、环境筹备

筹备环境前,先唠叨几句:ModelArts 是面向开发者的一站式 AI 开发平台,ModelArts 在人工智能三要素中都有十分杰出的体现,数据方面提供海量数据预处理及半自动化标注,算法方面除了开发者本人开发还 = 提供大量的预置算法和订阅算法可供选择,算力方面目前开发环境提供收费算力以及即点即用的 「我的笔记本」。目前集体比拟中意的性能就是「我的笔记本」,如果您体验过 MindSpore 教程的 「Run in ModelArts」, 您会发现其实教程中链接的就是 ModelArts 的 「我的笔记本」 模块,具体体验可浏览我的历史文章 5 分钟在线体验 MindSpore 的图层 IR–MindIR。

相比惯例的开发先要装一堆的环境和软件,基于 ModelArts 的 AI 开发仿佛变得更简略,实践上有能上网的设施就够了,比方 pad,而后仅仅须要注册一个华为云账号并实名认证。当然,ModelArts 筹备工作并不仅仅是这些,比方如需用到 OBS 还需生成拜访密钥并实现 ModelArts 全局配置。具体操作请参考 ModelArts-Lab:https://gitee.com/ModelArts/M…。

Free 的 「我的笔记本」 就在 ModelArts 总览页底部的开发工具卡片中,点击 「立刻体验」 即可开启一个默认的 CPU 环境的 JupyterLab,咱们能够在左边的 「切换规格」 栏进行环境或者规格的切换。须要留神的是:

切换资源后,将影响实例下所有 Notebook 与 Terminal。Notebook 中执行的所有变量将生效,Terminal 须要从新关上,手动安装包不再失效,须要从新执行。

目前,CPU 和 GPU 环境反对 Conda-python3、Pytorch-1.0.0、TensorFlow-1.13.1 等 8 种 Notebook 环境,不过应用 GPU 须要留神:

1、收费规格用于应用体验,会在 1 小时后主动进行;

2、收费算力不蕴含对象存储服务 (OBS) 存储资源费用。

如果想应用 MindSpore 框架,能够从 MindSpore 官网文档教程中的 「Run in ModelArts」进行跳转到带有 MindSpore 框架的 JupyterLab。

二、Seq2Seq 简介

Seq2Seq 是 Google 在 2017 年开源的一款用于 TensorFlow 的通用编码器 & 解码器框架(encoder-decoder framework),可用于机器翻译、文本摘要、会话建模、图像形容等。

论文地址:https://arxiv.org/abs/1703.03906

三、Copy 实际

新建 TensorFlow 1.13.1 环境的 notebook 文件,开始代码编 (kao) 写(bei)。

  • 数据集下载

couplet-dataset 只管比拟古老,但领有 70 万条数据,应该够实现一个简略的对对联模型。

  • 依赖装置及援用

  • 数据处理

  • 模型定义

其余代码此处就不再贴了,倡议间接参考源码出处,或者拜访 https://github.com/hu-qi/modelarts-couplet。此处我抉择 200 个 Epoch,训练过程如下图:

从图中显著能够看出评估函数输入的下联一直地在调整。当训练实现之后咱们便炼的了简略能应用的丹 –AI 对对联模型,紧接着测试一下:

不错不错,还是挺工整通顺的!

当然实际中也并不是一帆风顺,训练过程中如果遇到续期提醒,请务必要手动点击,不然又得重启 Notebook。续期就对了,只管我不太革除能续几次,但续期就不会导致训练中断。

四、总结

此次实际的数据集和 notebook 已上传到 github:https://github.com/hu-qi/modelarts-couplet, 另外对联数据也共享到 ModelArts AI Gallery:couplet-dataset:70 万对联数据集, 欢送取阅!

点击关注,第一工夫理解华为云陈腐技术~

正文完
 0