内容起源:华为开发者大会 2021 HMS Core 6 Media 技术论坛,主题演讲《音频制作的现状与发展趋势》。
演讲嘉宾:华为音频算法钻研高级工程师
大家好!我是来自华为音频工程部的工程师。明天很快乐跟大家分享对于音频制作的现状以及咱们所了解的音频发展趋势。
从留声机、黑胶唱片到 MP3、CD,音频曾经倒退了很多年,并且始终以来都沿着两条比拟大的主线进行倒退。一个是超高清的倒退方向,音频的数字品质越来越高,码率越来越低。当初对于人类来说的音频范畴在 20 到 22 赫兹,17K 以上的音频基本上听不到了。
另外一个倒退方向就是我明天要说的主题——沉迷式 。
最开始音频的录音和回放都受到肯定的限度,刚开始是单声道,单声道的意思就是声源从一个点飞过来,不会涵盖太多的内容,称之为点声源。到立体式和双声道的时代,又通过给左右声道赋予不同的内容,来出现更多的空间感和故事感,在过来 60、70 年代有很多前沿的乐队都在用双声道给用户带来不一样的体验。
起初从环绕声到三维声,减少的内容不仅仅是左右声道的内容,而是从前后左右甚至是高低的方向都有不同的声源传入耳朵里,这样,使用者就会有更大的空间来编辑他们的声源,用户也有更多的沉迷感。
当初越来越多音乐人用三维声制作音乐,但三维声的制作还在比拟高级的阶段,混音的范式混音师还在摸索中。三维声对于业余的混音师来说是多声道回放的环境,然而目前大部分用户次要还是依赖耳机进行回放,目前次要针对耳机进行三维声音乐推广的的友商是索尼的 360 reality 和苹果音乐与杜比单干的 dolby atmos music,当然也能够通过 IMU 耳机实现三维声回放摸索,戴上 IMU 耳机就会有头在转、音源固定在那里的一种感觉。
现有的三维声制作流程是怎么的呢?
首先会有一个作曲和编曲,咱们须要找业余的人士来进行唱歌和乐器的录音,而后咱们会将录完的这些分轨素材导入数字音频的工作站,数字音频的工作站外面经由业余混音师的巧手来进行插件,最初生成三维声音频并通过多声道来进行回放。
那么,HMS Core 能够做成怎么样?
先是通过 AI 作曲能力辅助各位进行编曲创作,而后基于咱们提供的 TTSing 歌声合成能力,让大家更快合成比拟业余的音频,经 Audio Edior kits 将 2D 转成 3D,而后在 UGC 或 PUGC 制作过程中,产生他们本人的 3D 音频,最初造成双耳回放或多声道回放并进行耳机监听。
AI 作曲配器
接下来跟大家介绍一下 AI 作曲配器。咱们平时走路过程当中会哼一些小调的灵感,通过 AI 作曲就会主动生成曲子。目前 AI 作曲的能力次要集中在民谣和国风。咱们能够更好地服务大家去投合消费者的市场,To C 能够辅助 PGC、使能 UGC 音乐创作,升高创作门槛;To B 能够提供罐头音乐,缩小音乐版权费用,撑持自有利用和合作伙伴商业胜利。
TTSing 歌声合成
有了词曲当前如何进行 TTSing 歌声合成呢?用户能够把曲谱信息输出到 TTSing 歌声,感受一下词曲配上这个歌声的能力,配合方才 AI 作出的曲子再加上歌词听听成果。
2D 转 3D
有了乐器轨、乐曲轨和歌声当前,就能够导入音频 2D 转 3D 的能力,能够通过交互界面简略拖动,也能够通过手机 Media 传感器指挥,把这些轨渲染到空间中任何一个地位,爱后进行双耳回放就能够听到最终合成的歌曲。是不是没有曲子和能力就不能做这个空间的渲染?不是的,咱们反对大家把一般的双声道、MP3 导到 2D 转 3D 的能力,主动剖析出这外面有钢琴和人声,而后指定钢琴外面某一个元素,通过渲染到空间每个地位进行双耳渲染,即便是老歌,也能够转成三维声的音乐,发明属于你本人的音乐。
这就是咱们 HMS Core 三维声的制作流程,咱们能够提供 AI 作曲配器、TTSing 歌声合成以及音乐 2D 转 3D 的能力,通过 HMS Core 服务,咱们能够为 UGC、PUGC 用户提供便捷的制作。
当初咱们正面临事实和虚构的交界处,当初很火的概念就是元宇宙,音频更大的将来就是声音元宇宙(Soudverse),通过空间声学进行声宇宙的构建,将来咱们会提供更多的计算声学和空间声学、声源合成和空间渲染的能力,帮忙大家通过应用 HMS Core 的能力疾速进行一个声宇宙的构建。
谢谢大家!
理解更多详情 >>
拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址:GitHub、Gitee
关注咱们,第一工夫理解 HMS Core 最新技术资讯~