AudioLM 是 Google 的新模型，可能生成与提醒格调雷同的音乐。该模型还可能生成简单的声音，例如钢琴音乐或人的对话。后果是它仿佛与原版没有区别，这是非常让人诧异的。
为什么生成音乐如此艰难?
创作音乐并不是一件容易的事。生成音频信号（音乐、环境声音、人的讲话）须要多尺度的形象。例如，音乐的构造必须通过长时间的剖析，并且音乐是由许多相互作用的信号组成的。而人类的语言就集体语言来说自身就由很多不同的档次无论是简略的声音信号还是语音，也能够是韵律、句法、语法或语义等等。
生成音频的第一次尝试的重点是生成 MIDI 文件（在 2018 年应用 transformer 创立了一个乏味的我的项目，他们为钢琴生成 MIDI 音乐）。而另外一些钻研则侧重于诸如文本到语音的工作，这类工作的钻研表明了在人类交换中，进展和变动以及其余信号是极其重要的。
比方当初的 Alexa 或其余的语音机器人声音听起来仍然不天然。尤其是晚期，无论发音如许正确，听起来都不天然，给人一种诡异的感觉。
AudioLM
几天前，谷歌发表公布一个新模型:“AudioLM: a Language Modeling Approach to Audio Generation”（2209.03143）。新模型可能通过听到音频生成后续音频 (真切的音乐和语音)。
近年来自然语言解决 (NLP) 畛域有了很大的提高，语言模型已被证实在许多工作中十分无效。这些零碎中有许多是基于 transformer 的，应用过它们的人都晓得，最后的预处理步骤之一是标记化（将文本分解成更小的单元，并调配一个数值）。
AudioLM 背地的要害实践是利用语言建模中的这些提高来生成音频，而无需应用注解数据进行训练。
AudioLM 不须要转录或标记。作者收集了一个声音数据库将其间接输出到模型中。该模型将声音文件压缩为一系列片段 (相似于标记)。而后将这些标记用作 NLP 模型 (该模型应用雷同的办法来学习各种音频片段之间的模式和关系)。与文本生成模型雷同，AudioLM 从提醒生成声音。
这个后果是十分乏味的，因为声音更加天然。AudioLM 仿佛可能发现并重现人类音乐中存在的某些模式 (比方敲击钢琴键时每个音符中蕴含的轻微振动)。在上面的链接中，谷歌提供了一些例子，如果你想听的话:
https://google-research.githu…
AudioLM 曾经承受过大量声音数据的训练，其中不仅包含音乐，还包含人声。因而，该模型能够生成人类产生的句子。该模型可能辨认谈话者的口音并增加进展和感叹词。只管模型生成的许多句子没有意义，但后果令人印象粗浅。
将声音序列视为单词序列仿佛是一种聪慧的办法，然而依然存在一些艰难：
首先，音频数据速率更高，从而导致序列更长——尽管一个书面句子能够用几十个字符示意，但其音频波形通常蕴含数十万个值。其次，文本和音频之间存在一对多的关系。这意味着同一个句子能够由具备不同谈话格调、情感内容和录音条件的不同谈话者出现。
OpenAI Jukebox 曾经尝试过音频标记化办法，只是该模型产生了更多的伪影，而且声音听起来并不天然，而 AudioLM 中应用的标记器如下
该模型由三个局部组成：
- 一个标记器模型，它将一系列声音映射到一个离散的标记序列中。这一步也缩小了序列的大小（采样率缩小了大概 300 倍）。
- 一个仅蕴含解码器的 transformer，能够最大化预测序列中下一个标记的可能性。该模型蕴含 12 层，16 个注意力头，嵌入维度为 1024，前馈层维度为 4096
- 一个将预测标记转换为音频标记的去标记器模型。
该模型承受了 60,000 小时英语演讲和 40,000 小时音乐的钢琴试验训练。
依据作者形容，听 AudioLM 生成的后果根本不会辨别原始录音和生成后果的差别。因为该模型可用于反抗 AI 准则（deep fakes 等），因而作者还构建了一个分类器，能够辨认应用 AudioLM 制作的音频，并正在钻研音频“水印”技术
一些想法
最近几个月，咱们看到了几种模型如何可能生成图像（DALL-E，扩散模型），并且有诸如 GPT3 之类的模型可能生成文本序列。生成音频序列因为一些额定的艰难所以倒退的并不快，但咱们仿佛很快就会在这方面看到一些更大的提高。
谷歌刚刚推出了 AudioLM，一种可能应用音频提醒（语音或钢琴）并生成连续的模型。而后提出扩散模型的同一小组又提出了 Harmonai（实际上，它应用了相似的稳固扩散模型的算法）。
这些技术在将来可用作视频和演示文稿的背景音乐、和其余创造性的工作。另一方面，这些技术可用于 deep fakes、错误信息流传、欺骗等。
https://avoid.overfit.cn/post/62705af556bd4b3489e0753693bd1fe2
作者：Salvatore Raieli