摘要：闲着没事用多模态评测 API 做了一个测评英语口语的互动小游戏，竟然成了一场 10 万人参加的刷屏级流动。
上一期故事说到，我成为了公司技术委员会副主席，上任后的第一件事是建设了一个云容器化的研发资料库，把每个研发硬盘里那点“好货色”都复用进去。（详情查看：《无奈设想！大龄码农的硬盘里有这么多宝藏》）
自此以后，老大交给我的撸代码的活越来越少，让我分心把技术委员会做起来。人一闲下来吧，就容易生事儿，这不么，闲着没事做了一个互动小游戏，经营妹子从公众号上推了张海报，竟然成了一场 10 万人参加的刷屏级流动。
咋回事呢？大略是 7 月 25 号，我看到一条新闻，北京 2021 年高考要减少英语口语考试。妈耶，这也太忽然了，这不跟产品经理忽然提需要、微博的运维赶上明星忽然发表结婚 / 离别一样让人猝不及防么。
很快，有孩子正上高中的家长都在朋友圈转发了这条音讯，这事的关注度这么高啊？总据说经营善于抓热点，那我是不是也能够做点什么抓住这次热点呢？
对于这个政策，家长和学生最关注最须要的是什么？考书面语，首先得晓得本人的书面语程度怎么样，晓得短板在哪能力有针对性地补习进步。那就是说须要书面语测评！
我想起之前在华为云官网上看到过一个 “多模态评测”API， 可能依据朗诵视频数据和试题文本，给朗读者的书面语评测分数。我能够利用这个 API 做一个测评类的 H5 小游戏。
依照我的习惯，实现性能的过程会同步梳理成文档，便于后浪们学习。
《多模态英语口语评测》
内容起源
多模态书面语当初还在公测阶段，所以我提前在华为云上申请了公测，当天就公测通过了~（公测链接：https://activity.huaweicloud.com/AI_free0.html?ggw_hd）
步骤一：数据筹备
l 反对的 video 类型包含 avi/mp4/webm/mkv/flv 等封装格局，视频清晰度不低于 240p，帧率不低于 25fps，大小限度在 10M
l 反对语言：英式英语
l 评测模式：单词评测、句子评测
l 须要把视频转化为对应的 base64 编码上传
转化举例（Python）
#!/usr/bin/env python
# encoding: utf-8
import base64
def ToBase64(file, txt):
with open(file, 'rb') as fileObj:
image_data = fileObj.read()
base64_data = base64.b64encode(image_data)
fout = open(txt, 'w')
fout.write(base64_data.decode())
fout.close()
ToBase64("./test.wav",'2.txt') # 音频文件转换为 base64步骤二：构建申请
华为云语音交互服务的通用申请形式如下图所示。
备注：
l 多模态评测 API 目前处于公测阶段，在华为 - 北京四能够调用，其 Endpoint 为“sis-ext.cn-north-4.myhuaweicloud.com”。
l 须要确认集体专有华为云我的项目 ID 和 Token（身份认证）
（我的项目 ID 获取办法；Token 查询方法）
获取了身份认证后，就能够填写申请了。假如我当初有一个 avi 格局的文件，想用单词模式去判断书面语品质，我要学习的书面语是“sit down”。
申请示例是：
POST https://{endpoint}/v1/{project_id}/assessment/video
Request Header:
Content-Type: application/json
X-Auth-Token: MIINRwYJKoZIhvcNAQcCoIINODCCDTQCAQExDTALBglghkgBZQMEAgEwgguVBgkqhkiG...
Request Body:
{
"config":{
"video_format": "avi",
"language": "en_gb",
"mode": "word"
},
"video_data": "/+MgxAAUeHpMAUkQAANhuRAC...",
"ref_text": "sit down"
}步骤三：返回后果
{
"fluency": {
"score": 75.02139,
"rhythm": 50.042786,
"cohesion": 100.0
},
"pronunciation": {
"score": 36.817684,
"gop": 36.817684
},
"score": 22.09061,
"completeness": 0.0,
"duration": 2.46,
"words": [尔后为音素、音标评估后果，其返回后果见下方]从返回的后果能够看到：
（1）从流畅度看：流畅度评分 75.02；连贯性是满分；韵律弱一点，只有 50.04 分
（2）从发音看：我的发音品质综合打分（score）是 36.82 分；发音好坏打分是 36.82 分
（3）最初的综合评分：22.09 分…
哎，还挺精确，我从小英语口语就差…
还能进行英语口语练习，从发音嘴型、发音成果纠正书面语。通过具体的繁多单词、音素、音标打分，就能晓得须要对哪个单词、音标增强练习了。
以“sit”发音评测为例，反馈后果如下：
"words": [
{
"fluency": {
"score": 68.29714,
"rhythm": 68.29714
},
"pronunciation": {
"score": 24.714167,
"gop": 24.714167
},
"out_of_vocabulary": false,
"text": "sit",
"text_original": "sit",
"text_normalised": ["sit"],
"score": 46.505653,
"start_time": 1.03,
"end_time": 1.06,
"phonemes": [
{
"fluency": {
"score": 31.643274,
"rhythm": 31.643274
},
"pronunciation": {
"score": 16.471563,
"gop": 16.471563
},
"start_time": 1.03,
"end_time": 1.04,
"arpa": "S",
"ipa": "s"
},
{
"fluency": {
"score": 87.00653,
"rhythm": 87.00653
},
"pronunciation": {
"score": 28.179922,
"gop": 28.179922
},
"start_time": 1.04,
"end_time": 1.05,
"arpa": "IH",
"ipa": "i"
},
{
"fluency": {
"score": 86.241615,
"rhythm": 86.241615
},
"pronunciation": {
"score": 29.491013,
"gop": 29.491013
},
"start_time": 1.05,
"end_time": 1.06,
"arpa": "T",
"ipa": "t"
}
]
},
],
}很快我就把小游戏做完了，以书面语能力测评为外围玩法，退出了邀请好友再玩一次的分享疏导机制，没想到只是从公司公众号上推了一下，敌人圈里竟然刷了屏，上线 3 天，游戏人数就超过了 10 万人！一次由研发主导的 10W+ 刷屏流动就这样诞生了，谁说研发不懂经营？
据理解，目前 API Explorer 平台已凋谢 EI 企业智能、计算、应用服务、网络、软件开发平台、视频等 70+ 云服务，共上线 2000+ 个 API、6000+ 个错误码。在后期试运行期间，华为云 API Explorer 平台上的 API 接口也已被多家企业胜利接入。
点击查看详情：《华为云一站式 API 解决方案平台 API Explorer 上线》
华为云 API Explorer 平台在将来几个月会实现更多功能，比方反对 SDK 示例代码、CLI 等个性，同时也会凋谢更多的云服务 API 接口，连贯更多开发者实现翻新、拓宽翻新边界。
点击关注，第一工夫理解华为云陈腐技术~