问世 30 多年来，Windows 曾经成为寰球亿万人工作、生存、创作时不可或缺的绝佳搭档。2021 年 10 月 5 日，微软产品小家庭正式迎来了最新成员 Windows 11。在现在混合办公、近程合作成为新常态的背景下，新一代 Windows 11 翻新的功能设计、高效易用的体验、丰盛精彩的内容，将更好地帮忙用户进步生产力、施展创造力。而在 Windows 11 个性化、智能化性能的背地，既有微软产品团队致力的成绩，也离不开微软钻研部门的技术支持。那么，这些丰盛实用的新性能是如何实现的？微软亚洲钻研的根底钻研翻新成绩又是如何转化到一线产品中的？
2021 年 10 月 5 日正式公布的 Windows 11，小到“开始”菜单、任务栏的地位、图标和字体的设计，大到自动化举荐、语音管制等性能，都让用户与之所爱更近一步。在更智能化、人性化的 Windows 11 零碎中，多个基于微软亚洲研究院的技术创新实现的性能，为用户带来了全新的应用体验。
在这些技术创新中，除了底层的技术支持之外，还有一些用户相熟的性能，比方从 Windows 7 开始，Windows 产品部门就基于微软亚洲研究院提供的算法，一直晋升中文、日文、韩文的手写辨认性能。而在最新版本 Windows 11 的“新闻与趣味（News and Interests）”和“语音拜访（Voice Access）”两个性能上，研究院又进一步优化了底层模型，对算法进行了翻新，这背地是微软亚洲研究院在举荐算法、深度学习、自然语言解决等畛域深耕多年的积攒。
深度学习与 NLP 的交融，让 Windows 11“新闻与趣味”知你所需
微软亚洲研究院首席研究员谢幸示意，“新闻内容自身和浏览新闻的用户其实都能够用文本示意，举荐的精确与否实质上都能够看作是对这些文本语义了解的深度。过来的举荐零碎要么没有应用深度学习技术，无奈学习样本数据的外在法则，要么基于深度学习却没有联合自然语言解决（NLP）技术，无奈对语义进行更深的了解。”因而，微软亚洲研究院将最新的深度学习与 NLP 技术集成到了对用户和新闻的建模中，大幅晋升了举荐模型的性能和准确率。基于此模型，Windows 11“新闻与趣味”性能实现了多样化、个性化和更精准的新闻举荐，当初用户能够通过 Windows 11 中的小组件等多种形式随时看到他们最感兴趣的新闻内容。
具体来看，能够将这一举荐算法分成三层：
第一层是针对以后新闻内容自身文本的了解，实际上就是对自然语言的了解。这一层次要基于微软图灵通用语言示意模型，其外围模型和算法采纳了研究院最新的对立语言预训练模型 UniLM 和多语言预训练模型 InfoXLM，这两项技术在语言了解、生成和翻译工作上都获得了当先的后果。
第二层是对用户的了解，也就是围绕用户所开展的一系列文本了解，但又不只是简略的文本整合。尽管能够将用户看成一个曾经浏览或浏览了新闻的文本汇合，但不能将所有文本简略地进行拼接，零碎还须要理解用户浏览的先后顺序，以及由此造成的用户趣味群组、对趣味重要性进行辨别等等，这些都是对用户的建模过程。当思考这些因素时，用户就由原来一系列标签化的示意，转变为在深度学习中的向量示意，从而极大地晋升准确率。
举例来说，咱们能够依照不同的属性类别给某个用户打上诸如男性、本科毕业、寓居在北京等标签，这样当一条受北京男性青睐的新闻呈现时，零碎就会将其推送给相干用户。然而，这种举荐办法只做了简略的匹配，因为这些标签并不能精确地形容集体特色，比方无奈明确阐明他真的是北京人，也不晓得用户真正的兴趣爱好是什么。但深度学习则能够抛开标签，将每一个人变成数字，也就是向量，通过计算向量之间的相似性来举荐内容。
依照此形式，每个人都能够被看作是高维空间中的一个点。新闻则是同一空间中的另一个点，这样就能够间接比拟用户和新闻间的间隔。咱们能够设想，在一个空间中同时蕴含了泛滥的用户和新闻，与其中一个用户比拟近的天然就是他喜爱的新闻。
最初一层是排序。实践上能够将新闻举荐看作是对高维空间中用户与新闻内容间隔的计算，但实际中还有更多的因素须要思考，例如新闻举荐的多样性、公平性、可解释性等等。
通过将深度学习与 NLP 集成到新闻举荐零碎中，Windows 11 能够更好地满足用户对新闻的需要。数据显示，在所举荐的新闻上，用户的实时点击率失去了晋升，浏览时长也有所增加。
该举荐算法具备较高的通用性，波及到个性化搜寻和举荐的畛域，如微软广告、必应（Bing）搜寻等场景都能利用。另外，基于举荐算法的钻研，微软亚洲研究院还与微软新闻团队联结公布了迄今世界上最大的英文个性化新闻举荐数据集 MIND，为新闻举荐的钻研建设了绝对权威的评测规范。而且在 2021 年的 ACL 大会上，单方团队还单干构建了第一个能够离线评测个性化新闻标题生成办法的基准数据集 PENS（PErsonalized News headlineS）。
用语音操作电脑，微软无障碍性能一直精进
历代 Windows 版本都思考到了无障碍加强性能，为不同类别的残障人士提供反对和便当。而 Windows 11 中新增的辅助性能 Voice Access（语音拜访），则通让包含行动不便人士在内的所有人都能够通过语音管制他们的电脑，编辑文本内容，如操作 Windows 零碎的应用程序、浏览网页、编写邮件等。
微软亚洲研究院主管研究员吴俣说，“Voice Access 性能应用的是一种端到端的 ASR（Automatic Speech Recognition 主动语音辨认）技术。它将声音模型与语言模型交融成对立的模型，不仅能够更精确地辨认出用户的指令，疾速实现相应的工作，更重要的是升高了对计算资源的需要，更适宜在笔记本电脑等终端设备上部署，即便在没有互联网的状况下，设施也能反对疾速语音辨认。”
如上图所示，Voice Access 首先会将桌面的我的项目进行编号，而后通过如下的语音指令进行管制。
早在 2019 年，微软亚洲研究院就已和微软 Azure 团队的语音组合作发展了相干的语音辨认钻研。最后的 ASR 模型是声学模型和语言模型的混合体，先由声学模型把输出的语音转换为发音的最小单元音素，再用音素联合语言模型产生语音辨认后果。因为模型体量较大，过后相干技术次要以 SaaS 模式部署在微软 Azure 云平台上供用户应用。随着研究员们对 ASR 技术的一直摸索、晋升，微软的产品部门心愿降级后的 ASR 技术能够更多地利用在产品端，以反对弱势群体更不便地应用相干产品。
然而，间接将大规模 ASR 模型部署在终端设备上并不事实。除了要将模型自身轻量化、晋升运算速度外，在与 Azure 团队语音组合作的过程中，研究员们也意识到在将技术转化为产品时，优化模型不仅要聚焦准确率，还要以用户体验为第一优先准则。正如微软亚洲研究院高级研究员刘树杰所说，“咱们做根底钻研的时候往往会把一些问题形象进去，思考如何在一个点上发力把技术做到更好、更优。而产品部门的共事更多的是站在用户的角度思考问题，比方用户在什么状况下对产品的满意度更高，应用感触更好。”
在对端到端的 ASR 模型测试时，钻研团队和产品团队就遇到了不同思维的互相碰撞。刘树杰介绍到，研究员们重视的是主观指标，会在大数据集上做主观指标的测试，而转化为产品后，产品经理更加重视的是使用者的主观感触。因而，当 Windows 11 在微软 Surface 以及各 PC 厂商的电脑上运行时，ASR 模型也要做相应的优化和适配。
开发过程中，微软亚洲研究院与 Azure 团队语音组和 Windows 产品部门严密单干，重复沟通，通过一直迭代，使得 ASR 模型在多设施上的测试后果都达到了人类失常谈话时的程度。只管目前模型只反对美式英语的语音辨认，但该模型具备跨语言通用性，后续只需利用不同语言的数据对模型开展训练，就可能实现跨语言的语音辨认与操控。
得益于深度学习的倒退和短缺的语料反对，主动语音辨认 ASR 在大语种上获得了十分优异的性能。然而，世界上还有很多语言短少语料数据，这些小语种、中央方言的应用人数较少，收集相应的语言数据会消耗大量的人力和资源，给相应 ASR 的实现造成了肯定艰难。为了解决这一问题，微软亚洲研究院提出了一种极低资源下语音辨认的新办法 WavLM，尤其是针对 ASR 的预训练模型，其各项指标始终在 SUPERB 评测数据集排行榜上位列第一（https://superbbenchmark.org/l…）。
始终以来，微软始终器重无障碍（Accessibility）方面的建设，目标是让产品、设施、服务和环境的设计更加不便地为残障人士所应用。下一步，微软亚洲研究院还将联结微软的产品团队将相似的技术扩大到更多的产品和利用场景中，突破沟通与应用阻碍，予力每一人。
面目一新的桌面、简洁的设计、舒服的布局和灵便的体验，无一不彰显新一代操作系统 Windows 11 的高效与翻新。无论是面向工作、学习、生存、游戏，还是艺术创作、编程开发，Windows 11 都为用户提供了一个更适宜的模式。面对混合办公新常态以及新的用户需要，微软亚洲研究院也会继续将最新的科研成果输入到微软的产品中，帮忙更多用户进步生产力，激发创作灵感！
关注微软中国 MSDN, 理解最新内容