关于android:HDC2022的无障碍参会体验手语服务是如何做到的

30次阅读

共计 1767 个字符,预计需要花费 5 分钟才能阅读完成。

华为开发者大会 2022(HDC)上,HMS Core 手语数字人以全新形象亮相,并在直播中实现了长达 3 个多小时的实时手语翻译,向线上线下超过一千万的观众提供了业余、实时、精确的手语翻译服务,为听障人士提供了无障碍参会体验。面对专业性强且词汇量大的科技大会,HMS Core 手语数字人是如何精确且流畅地打出手语的?

【解决三大技术难题,科技词汇信“手”拈来】

直播中的实时手语翻译较传统翻译和文本转手语的翻译更为简单,次要在于语音辨认过程中各类场景声学环境简单难部署;手语词汇数据量少,尤其是业余畛域词汇较为匮乏;同时,手语语言具备独特的语序逻辑,并非依照日常谈话程序逐字翻译,而要对语句进行语序调整,比方“我有许多敌人,其中既有健听人,也有聋人”的手语语序是“我 / 敌人 / 多,听人 / 有,聋 1 / 有”。因为手语视觉语言的独特性,手语表白中表情、动作地位、动作方向、体态变动、动作幅度大小等都是影响手语可懂度的重要因素。

“我有许多敌人,其中既有健听人,也有聋人。”的手语语序是

“我 / 敌人 / 多,听人 / 有,聋 1 / 有。”

为了让手语数字人实现高可懂度的 AI 手语能力,HMS Core 手语服务技术团队整合了“语音、手语”全链路的 AI 能力,解决了三大技术点:语音辨认的准确度、手语翻译的准确度、手语动作的晦涩度与节奏感。

首先,为了确保直播中演讲者语音能被精准辨认,尤其是大量中英文混合的技术名词,HMS Core 手语数字人语音辨认性能,采纳动静的流式声学建模技术,实现了 1 秒以内即可出辨认后果,同时借助热词等定制伎俩,专业术语的辨认成果也失去了定向优化,这为手语数字人下一步的手语翻译提供了高精准度的文本根底。

在手语翻译准确度方面,HMS Core 手语服务专门组织了一个动作优化团队,并在机器翻译、手语转写等算法方面进行了翻新:通过机器翻译算法,中文表白可疾速转写为手语表白,并主动进行词序调整、词义消歧、表情剖析;通过双重迁徙学习等办法,让算法了解句子的语义和语境,并精确预计出每个手语词对应的体态、表情及口型,实现手语动作、体态、表情、口型全方位地活泼表白,无效晋升手语转写的准确率及速度。

此外,手语生成计划交融了大量手语语言学研究成果,通过调整词、词组、句子之间的进展及速度等,加强节奏感。同时,参考新闻手语主播的手语打法,预训练模型的语句稀释算法,可将简单的长句稀释为简略的短句,并基于语义进行翻译,最终生成晦涩且合乎听障人士表白习惯的手语动作。

对于在 HDC 大会上罕用的科技词汇“华为”,“鸿蒙”及“人工智能”等,其规范打法已纳入 HMS Core 手语词汇库。而对于大会上“原子化服务”等较少见的组合型业余词汇,则按字面意思将其拆解成“原子”“化”“服务”三个手语动作,同时生成对应的口型。

“原子化服务”

【产品竞争力跃升,从技术创新到产业利用】

HMS Core 手语服务通过一年多的倒退和技术迭代,目前已反对 2 万 + 中文手语词汇,匹配日常沟通交流、新闻、教育、政务办理等丰盛场景。以后手语数字人不仅能流畅地打出手部动作,还有丰盛的表情和精确的口动,从微笑、开心到诧异、纳闷、悲观等,多达 26 种 表情,灵动又真切,做到了“听得准”、“翻得对”、“打得好”,更好地为保障听障者的社会参加提供了助力。

目前,HMS Core 手语服务已携手音书、知音、畅听无碍、开普云、棉花糖科技、将来媒体、硅基智能等泛滥开发者,胜利将 AI 手语翻译能力利用在各行各业,欠缺了无障碍环境建设。畅听无碍 app,通过集成 HMS Core 手语服务,在利用内实现了 AI 手语翻译性能,让听障人士随需随用,满足他们在日常生活中沟通交流、学习娱乐的需要,同时还能帮忙他们在政府、医疗、金融、法律等业余公共服务畛域实现无障碍交换。

HMS Core 手语服务的利用将一直助力开发者搭建更好的无障碍流传环境,帮忙听障者更好地享受信息化倒退成绩,为他们带来更多陪伴、更多实时交互以及更深的情感联结。将来,HMS Core 手语服务,将继续践行“科技,不让任何一个人落伍”,与宽广开发者搭档一起,助力构建数字生态,让无障碍体验惠及更多人。如需进一步理解,请拜访 HMS Core 手语服务。

理解更多详情 >>

拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址:GitHub、Gitee

关注咱们,第一工夫理解 HMS Core 最新技术资讯~

正文完
 0