就机器学习而言，音频自身是一个有广泛应用的残缺的畛域，包含语音辨认、音乐分类和声音事件检测等等。传统上音频分类始终应用谱图剖析和隐马尔可夫模型等办法，这些办法已被证实是无效的，但也有其局限性。近期VIT曾经成为音频工作的一个有前途的替代品，OpenAI的Whisper就是一个很好的例子。
在本文中，咱们将利用ViT - Vision Transformer的是一个Pytorch实现在音频分类数据集GTZAN数据集-音乐类型分类上训练它。
数据集介绍
GTZAN 数据集是在音乐流派辨认 (MGR) 钻研中最罕用的公共数据集。 这些文件是在 2000-2001 年从各种起源收集的，包含集体 CD、收音机、麦克风录音，代表各种录音条件下的声音。
这个数据集由子文件夹组成，每个子文件夹是一种类型。
加载数据集
咱们将加载每个.wav文件，并通过librosa库生成相应的Mel谱图。
mel谱图是声音信号的频谱内容的一种可视化示意，它的垂直轴示意mel尺度上的频率，程度轴示意工夫。它是音频信号处理中罕用的一种示意模式，特地是在音乐信息检索畛域。
梅尔音阶(Mel scale，英语：mel scale)是一个思考到人类音高感知的音阶。因为人类不会感知线性范畴的频率，也就是说咱们在检测低频差别方面要胜于高频。 例如，咱们能够轻松分辨出500 Hz和1000 Hz之间的差别，然而即便之间的间隔雷同，咱们也很难分辨出10,000 Hz和10,500 Hz之间的差别。所以梅尔音阶解决了这个问题，如果梅尔音阶的差别雷同，则意指人类感觉到的音高差别将雷同。
defwav2melspec(fp): y, sr=librosa.load(fp) S=librosa.feature.melspectrogram(y=y, sr=sr, n_mels=128) log_S=librosa.amplitude_to_db(S, ref=np.max) img=librosa.display.specshow(log_S, sr=sr, x_axis='time', y_axis='mel') # get current figure without white border img=plt.gcf() img.gca().xaxis.set_major_locator(plt.NullLocator()) img.gca().yaxis.set_major_locator(plt.NullLocator()) img.subplots_adjust(top=1, bottom=0, right=1, left=0, hspace=0, wspace=0) img.gca().xaxis.set_major_locator(plt.NullLocator()) img.gca().yaxis.set_major_locator(plt.NullLocator()) # to pil image img.canvas.draw() img=Image.frombytes('RGB', img.canvas.get_width_height(), img.canvas.tostring_rgb()) returnimg上述函数将产生一个简略的mel谱图:
当初咱们从文件夹中加载数据集，并对图像利用转换。
classAudioDataset(Dataset): def__init__(self, root, transform=None): self.root=root self.transform=transform self.classes=sorted(os.listdir(root)) self.class_to_idx= {c: ifori, cinenumerate(self.classes)} self.samples= [] forcinself.classes: forfpinos.listdir(os.path.join(root, c)): self.samples.append((os.path.join(root, c, fp), self.class_to_idx[c])) def__len__(self): returnlen(self.samples) def__getitem__(self, idx): fp, target=self.samples[idx] img=Image.open(fp) ifself.transform: img=self.transform(img) returnimg, target train_dataset=AudioDataset(root, transform=transforms.Compose([ transforms.Resize((480, 480)), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]))ViT模型
咱们将利用ViT来作为咱们的模型：Vision Transformer在论文中首次介绍了一幅图像等于16x16个单词，并胜利地展现了这种形式不依赖任何的cnn，间接利用于图像Patches序列的纯Transformer能够很好地执行图像分类工作。
将图像宰割成Patches，并将这些Patches的线性嵌入序列作为Transformer的输出。Patches的解决形式与NLP应用程序中的标记(单词)是雷同的。
因为不足CNN固有的演绎偏差(如局部性)，Transformer在训练数据量有余时不能很好地泛化。然而当在大型数据集上训练时，它的确在多个图像识别基准上达到或击败了最先进的程度。
实现的构造如下所示:
classViT(nn.Sequential): def__init__(self, in_channels: int=3, patch_size: int=16, emb_size: int=768, img_size: int=356, depth: int=12, n_classes: int=1000, **kwargs): super().__init__( PatchEmbedding(in_channels, patch_size, emb_size, img_size), TransformerEncoder(depth, emb_size=emb_size, **kwargs), ClassificationHead(emb_size, n_classes) )训练
训练循环也是传统的训练过程:
vit=ViT( n_classes=len(train_dataset.classes) ) vit.to(device) # train train_loader=DataLoader(train_dataset, batch_size=32, shuffle=True) optimizer=optim.Adam(vit.parameters(), lr=1e-3) scheduler=ReduceLROnPlateau(optimizer, 'max', factor=0.3, patience=3, verbose=True) criterion=nn.CrossEntropyLoss() num_epochs=30 forepochinrange(num_epochs): print('Epoch {}/{}'.format(epoch, num_epochs-1)) print('-'*10) vit.train() running_loss=0.0 running_corrects=0 forinputs, labelsintqdm.tqdm(train_loader): inputs=inputs.to(device) labels=labels.to(device) optimizer.zero_grad() withtorch.set_grad_enabled(True): outputs=vit(inputs) loss=criterion(outputs, labels) _, preds=torch.max(outputs, 1) loss.backward() optimizer.step() running_loss+=loss.item() *inputs.size(0) running_corrects+=torch.sum(preds==labels.data) epoch_loss=running_loss/len(train_dataset) epoch_acc=running_corrects.double() /len(train_dataset) scheduler.step(epoch_acc) print('Loss: {:.4f} Acc: {:.4f}'.format(epoch_loss, epoch_acc))总结
应用PyTorch从头开始训练了这个Vision Transformer架构的自定义实现。因为数据集十分小(每个类只有100个样本)，这影响了模型的性能，只取得了0.71的准确率。
这只是一个简略的演示，如果须要进步模型体现，能够应用更大的数据集，或者略微调整架构的各种超参数!
https://avoid.overfit.cn/post/1f4156a56139417d97745066c0b497ec
作者：Alessandro Lamberti