导读：现在的 AI 技术倒退堪称“very 神奇”，文字、图片竟能一键间接生成真切音效，嗯，妥妥都是因为 TA，一款在语音音频畛域“横空出世”的新模型：Make-An-Audio。
近期 AIGC 如同“上了热搜”个别，炽热水平居高不下，当然除了名头分外嘹亮，冲破也是相对斐然：输出自然语言就可主动生成图像、视频甚至是 3D 模型，你说意不意外？
但在音频音效的畛域，AIGC 的“福利”仿佛还差了一些。次要因为高自由度音频生成须要依附大量文本 - 音频对数据，同时长时波形建模还有诸多困难。为了解决上述疑难，浙江大学与北京大学联结火山语音，独特提出了一款翻新的、文本到音频的生成零碎，即 Make-An-Audio。TA 能够将自然语言形容作为输出，而且是任意模态（例如文本、音频、图像、视频等）均可，同时输入合乎形容的音频音效，宽广网友很难不为其可控性以及泛化性点赞。
** 论文链接：
https://arxiv.org/abs/2301.12661**
** 我的项目链接：
https://text-to-audio.github.io**
短短两天，Demo 视频在 Twitter 上取得了 45K 的播放量。
图 1：钻研团队颁布的演示视频
2023 年元旦后，以“Make-An-Audio”、MusicLM 等大量音频合成文章涌现，48 小时内曾经有 4 篇突破性的停顿。
图 2：网友评论 1
宽广网友们纷纷表示，AIGC 音效合成将会扭转电影、短视频制作的将来。
图 3：网友评论 2
图 4：网友评论 3
更有大众收回这样的感叹：“audio is all you need……”
图 5：网友评论 4
这样的听觉成果，难道你不爱吗？
钻研团队已颁布局部音频生成后果在工作的主页上：
https://text-to-audio.github.io，该模型除了能够一键生成大片音效以外，还能够做音频修复、图片生成音频以及视频配音等多种工作。
图 6：音频修复（前）
图 6：音频修复（后）
图 7：图片转音频样例输出
图 7：视频转音频样例输出
这款“网红”模型的外在技术原理到底是？
深度解析“网红”模型的神奇外在，咱们还要回到音频 - 自然语言对数据稀少的主观问题上，对此浙大北大联结火山语音团队独特提出了 Distill-then-Reprogram 文本加强策略，即应用老师模型取得音频的自然语言形容，再通过随机重组取得具备动态性的训练样本。
具体来说，在 Distill 环节中，应用音频转文本与音频 - 文本检索模型，找到语言缺失 (Language-Free) 音频的自然语言形容候选(Candidate)，通过计算候选文本与音频的匹配类似度，在阈值下获得最佳后果作为音频的形容。该办法具备强泛化性，且实在自然语言防止了测试阶段的域外文本。“在 Reprogram 环节中，咱们从额定的事件数据集中随机采样，并与以后训练样本相结合，失去全新的概念组合与形容，以扩增模型对不同事件组合的鲁棒性。”钻研团队示意。
图 8：Distill-then-Reprogram 文本加强策略框架图
如上图所示，自监督学习曾经胜利将图片迁徙到音频频谱，利用了频谱自编码器以解决长音频序列问题，并基于 Latent Diffusion 生成模型实现对自监督表征的预测，防止了间接预测长时波形。
图 9：Make-An-Audio 模型零碎框架图
此外在钻研中团队还摸索了弱小的文本条件策略，包含比照式 Contrastive Language-Audio Pretraining (CLAP)以及语言模型 (LLM) T5，BERT 等，验证了 CLAP 文本表征的无效与计算敌对性。同时还首次应用 CLAP Score 来评估生成的音频，能够用于掂量文本和生成场景之间的一致性；应用主、主观相结合的评估形式，在 benchmark 数据集测试中验证了模型的有效性，展现了模型杰出的零次样本学习(Zero-Shot) 泛化性等。
图 10：Make-An-Audio 与基线模型主客观评测试验后果
神奇模型的利用前景知多少？
总体来看，Make-An-Audio 模型实现了高质量、高可控性的音频合成，并提出了“No Modality Left Behind”，对文本条件音频模型进行微调(finetune)，即能解锁对任意模态输出的音频合成(audio/image/video)。
图 11：Make-An-Audio 首次实现高可控 X - 音频的 AIGC 合成，X 能够是文本 / 音频 / 图像 / 视频
在视觉领导的音频合成上，Make-An-Audio 以 CLIP 文本编码器为条件，利用其图像 - 文本联结空间，可能间接以图像编码为条件合成音频。
图 12：Make-An-Audio 视觉 - 音频合成框架图
能够预感的是，音频合成 AIGC 将会在将来电影配音、短视频创作等畛域施展重要作用，而借助 Make-An-Audio 等模型，或者在将来人人都有可能成为业余的音效师，都能够凭借文字、视频、图像在任意工夫、任意地点，合成出栩栩如生的音频、音效。但现阶段 Make-An-Audio 也并不是白璧无瑕的，可能因为丰盛的数据起源以及不可避免的样本品质问题，训练过程中难免会产生副作用，例如生成不合乎文字内容的音频或无害的音频，所以哪怕 Make-An-Audio 在技术上被定位是“辅助艺术家生成”，但也可能呈现创意内容被滥用的潜在危险，但能够必定的一点，AIGC 畛域的停顿的确令人惊喜。
火山语音，长期以来面向字节跳动各大业务线提供寰球劣势的 AI 语音技术能力以及全栈语音产品解决方案，包含音频了解、音频合成、虚构数字人、对话交互、音乐检索、智能硬件等。自 2017 年成立以来，团队专一研发行业当先的 AI 智能语音技术，一直摸索 AI 与业务场景的高效联合，以实现更大的用户价值。目前其语音辨认和语音合成曾经笼罩了多种语言和方言，多篇技术论文入选各类 AI 顶级会议，为抖音、剪映、飞书、番茄小说、Pico 等业务提供了当先的语音能力，并实用于短视频、直播、视频创作、办公以及穿戴设施等多样化场景，通过火山引擎凋谢给内部企业。