华为开发者大会 2022（HDC）上，HMS Core 手语数字人以全新形象亮相，并在直播中实现了长达 3 个多小时的实时手语翻译，向线上线下超过一千万的观众提供了业余、实时、精确的手语翻译服务，为听障人士提供了无障碍参会体验。面对专业性强且词汇量大的科技大会，HMS Core 手语数字人是如何精确且流畅地打出手语的？
【解决三大技术难题，科技词汇信“手”拈来】
直播中的实时手语翻译较传统翻译和文本转手语的翻译更为简单，次要在于语音辨认过程中各类场景声学环境简单难部署；手语词汇数据量少，尤其是业余畛域词汇较为匮乏；同时，手语语言具备独特的语序逻辑，并非依照日常谈话程序逐字翻译，而要对语句进行语序调整，比方“我有许多敌人，其中既有健听人，也有聋人”的手语语序是“我 / 敌人 / 多，听人 / 有，聋 1 / 有”。因为手语视觉语言的独特性，手语表白中表情、动作地位、动作方向、体态变动、动作幅度大小等都是影响手语可懂度的重要因素。
“我有许多敌人，其中既有健听人，也有聋人。”的手语语序是
“我 / 敌人 / 多，听人 / 有，聋 1 / 有。”
为了让手语数字人实现高可懂度的 AI 手语能力，HMS Core 手语服务技术团队整合了“语音、手语”全链路的 AI 能力，解决了三大技术点：语音辨认的准确度、手语翻译的准确度、手语动作的晦涩度与节奏感。
首先，为了确保直播中演讲者语音能被精准辨认，尤其是大量中英文混合的技术名词，HMS Core 手语数字人语音辨认性能，采纳动静的流式声学建模技术，实现了 1 秒以内即可出辨认后果，同时借助热词等定制伎俩，专业术语的辨认成果也失去了定向优化，这为手语数字人下一步的手语翻译提供了高精准度的文本根底。
在手语翻译准确度方面，HMS Core 手语服务专门组织了一个动作优化团队，并在机器翻译、手语转写等算法方面进行了翻新：通过机器翻译算法，中文表白可疾速转写为手语表白，并主动进行词序调整、词义消歧、表情剖析；通过双重迁徙学习等办法，让算法了解句子的语义和语境，并精确预计出每个手语词对应的体态、表情及口型，实现手语动作、体态、表情、口型全方位地活泼表白，无效晋升手语转写的准确率及速度。
此外，手语生成计划交融了大量手语语言学研究成果，通过调整词、词组、句子之间的进展及速度等，加强节奏感。同时，参考新闻手语主播的手语打法，预训练模型的语句稀释算法，可将简单的长句稀释为简略的短句，并基于语义进行翻译，最终生成晦涩且合乎听障人士表白习惯的手语动作。
对于在 HDC 大会上罕用的科技词汇“华为”，“鸿蒙”及“人工智能”等，其规范打法已纳入 HMS Core 手语词汇库。而对于大会上“原子化服务”等较少见的组合型业余词汇，则按字面意思将其拆解成“原子”“化”“服务”三个手语动作，同时生成对应的口型。
“原子化服务”
【产品竞争力跃升，从技术创新到产业利用】
HMS Core 手语服务通过一年多的倒退和技术迭代，目前已反对 2 万 + 中文手语词汇，匹配日常沟通交流、新闻、教育、政务办理等丰盛场景。以后手语数字人不仅能流畅地打出手部动作，还有丰盛的表情和精确的口动，从微笑、开心到诧异、纳闷、悲观等，多达 26 种 表情，灵动又真切，做到了“听得准”、“翻得对”、“打得好”，更好地为保障听障者的社会参加提供了助力。
目前，HMS Core 手语服务已携手音书、知音、畅听无碍、开普云、棉花糖科技、将来媒体、硅基智能等泛滥开发者，胜利将 AI 手语翻译能力利用在各行各业，欠缺了无障碍环境建设。畅听无碍 app，通过集成 HMS Core 手语服务，在利用内实现了 AI 手语翻译性能，让听障人士随需随用，满足他们在日常生活中沟通交流、学习娱乐的需要，同时还能帮忙他们在政府、医疗、金融、法律等业余公共服务畛域实现无障碍交换。
HMS Core 手语服务的利用将一直助力开发者搭建更好的无障碍流传环境，帮忙听障者更好地享受信息化倒退成绩，为他们带来更多陪伴、更多实时交互以及更深的情感联结。将来，HMS Core 手语服务，将继续践行“科技，不让任何一个人落伍”，与宽广开发者搭档一起，助力构建数字生态，让无障碍体验惠及更多人。如需进一步理解，请拜访 HMS Core 手语服务。
理解更多详情 >>
拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址：GitHub、Gitee
关注咱们，第一工夫理解 HMS Core 最新技术资讯~