关于java:音频制作的现状与发展趋势

40次阅读

共计 2076 个字符,预计需要花费 6 分钟才能阅读完成。

内容起源:华为开发者大会 2021 HMS Core 6 Media 技术论坛,主题演讲《音频制作的现状与发展趋势》。

演讲嘉宾:华为音频算法钻研高级工程师

大家好!我是来自华为音频工程部的工程师。明天很快乐跟大家分享对于音频制作的现状以及咱们所了解的音频发展趋势。

从留声机、黑胶唱片到 MP3、CD,音频曾经倒退了很多年,并且始终以来都沿着两条比拟大的主线进行倒退。一个是超高清的倒退方向,音频的数字品质越来越高,码率越来越低。对于人类来说的音频范畴是 20 到 22 赫兹,17K 以上的音频基本上听不到了。

另外一个倒退方向就是我明天要说的主题——沉迷式 。咱们平时听到的声音是从五湖四海来的,比方咱们右上角有鸟叫,右边有照相机的咔嚓声,声音是从四周各个方向过去的。最开始音频的录音和回放都受到肯定的限度,刚开始是单声道,单声道的意思就是声源从一个点飞过来,不会涵盖太多的内容,称之为点声源,有很多混音师和音乐人在单声道年代做了不少的尝试,比方减少混响和色染来造成肯定的空间感,然而受限于它的单声道,成果是远远不够的。

到立体式和双声道的时代,又通过给左右声道赋予不同的内容,来出现更多的空间感和故事感,在过来 60、70 年代有很多前沿的乐队都在用双声道给用户带来不一样的体验。比方音乐外面把人声和吉他分左右两个声道,让用户感觉像是在现场听到演奏一样;再比方波希米亚狂想曲,就是把两个人不同的合声放在左右,造成对话的感觉,通过给左右声道别离不同的内容来造成更强的故事感,更能给听众带入音乐叙述的逻辑,那个时候从单声道到立体声是很大的逾越。

起初从环绕声到三维声,减少的内容不仅仅是左右声道的内容,而是从前后左右甚至是高低的方向都有不同的声源传入耳朵里,这样,使用者就会有更大的空间来编辑他们的声源,用户也有更多的沉迷感。前面咱们会进入 6 自由度空间声的时代,让你有更强的空间感。当初咱们正处于从一个立体声、环绕声往三维声突围的历史节点。

当初越来越多音乐人用三维声制作音乐,但三维声的制作还在比拟高级的阶段,混音的范式混音师还在摸索中。三维声对于业余的混音师来说是多声道回放的环境,然而目前大部分用户次要还是依赖耳机进行回放,目前次要针对耳机进行三维声音乐推广的的友商是索尼的 360 reality 和苹果音乐与杜比单干的 dolby atmos music,当然也能够通过 IMU 耳机实现三维声回放摸索,戴上 IMU 耳机就会有头在转、音源固定在那里的一种感觉。

现有的三维声制作流程是怎么的呢?

首先会有一个作曲和编曲,咱们须要找业余的人士来进行唱歌和乐器的录音,而后咱们会将录完的这些分轨素材导入数字音频的工作站,数字音频的工作站外面经由业余混音师的巧手来进行插件,最初生成三维声音频并通过多声道来进行回放。

那么,HMS Core 能够做成怎么样?

先是通过 AI 作曲能力辅助各位进行编曲创作,而后基于咱们提供的 TTSing 歌声合成能力,让大家更快合成比拟业余的音频,经 Audio Edior kit 将 2D 转成 3D,而后在 UGC 或 PUGC 制作过程中,产生他们本人的 3D 音频,最初造成双耳回放或多声道回放并进行耳机监听。

AI 作曲配器

接下来跟大家介绍一下 AI 作曲配器。咱们平时走路过程当中会哼一些小调的灵感,通过 AI 作曲就会主动生成曲子。目前 AI 作曲的能力次要集中在民谣和国风。咱们能够更好地服务大家去投合消费者的市场,To C 能够辅助 PGC、使能 UGC 音乐创作,升高创作门槛;To B 能够提供罐头音乐,缩小音乐版权费用,撑持自有利用和合作伙伴商业胜利。

TTSing 歌声合成

有了词曲当前如何进行 TTSing 歌声合成呢?用户能够把曲谱信息输出到 TTSing 歌声,感受一下词曲配上这个歌声的能力,配合方才 AI 作出的曲子再加上歌词听听成果。

2D 转 3D

有了乐器轨、乐曲轨和歌声当前,就能够导入音频 2D 转 3D 的能力,能够通过交互界面简略拖动,也能够通过手机 Media 传感器指挥,把这些轨渲染到空间中任何一个地位,爱后进行双耳回放就能够听到最终合成的歌曲。是不是没有曲子和能力就不能做这个空间的渲染?不是的,咱们反对大家把一般的双声道、MP3 导到 2D 转 3D 的能力,主动剖析出这外面有钢琴和人声,而后指定钢琴外面某一个元素,通过渲染到空间每个地位进行双耳渲染,即便是老歌,也能够转成三维声的音乐,发明属于你本人的音乐。

这就是咱们 HMS Core 三维声的制作流程,咱们能够提供 AI 作曲配器、TTSing 歌声合成以及音乐 2D 转 3D 的能力,通过 HMS Core 服务,咱们能够为 UGC、PUGC 用户提供便捷的制作。

当初咱们正面临事实和虚构的交界处,当初很火的概念就是元宇宙,音频更大的将来就是声音元宇宙(Soudverse),通过空间声学进行声宇宙的构建,将来咱们会提供更多的计算声学和空间声学、声源合成和空间渲染的能力,帮忙大家通过应用 HMS Core 的能力疾速进行一个声宇宙的构建。

谢谢大家!

理解更多详情 >>

拜访华为开发者联盟官网
获取开发领导文档
华为挪动服务开源仓库地址:GitHub、Gitee

关注咱们,第一工夫理解 HMS Core 最新技术资讯~

正文完
 0