关于人工智能:从视频到音频使用VIT进行音频分类

43次阅读

共计 3823 个字符,预计需要花费 10 分钟才能阅读完成。

就机器学习而言,音频自身是一个有广泛应用的残缺的畛域,包含语音辨认、音乐分类和声音事件检测等等。传统上音频分类始终应用谱图剖析和隐马尔可夫模型等办法,这些办法已被证实是无效的,但也有其局限性。近期 VIT 曾经成为音频工作的一个有前途的替代品,OpenAI 的 Whisper 就是一个很好的例子。

在本文中,咱们将利用 ViT – Vision Transformer 的是一个 Pytorch 实现在音频分类数据集 GTZAN 数据集 - 音乐类型分类上训练它。

数据集介绍

GTZAN 数据集是在音乐流派辨认 (MGR) 钻研中最罕用的公共数据集。这些文件是在 2000-2001 年从各种起源收集的,包含集体 CD、收音机、麦克风录音,代表各种录音条件下的声音。

这个数据集由子文件夹组成,每个子文件夹是一种类型。

加载数据集

咱们将加载每个.wav 文件,并通过 librosa 库生成相应的 Mel 谱图。

mel 谱图是声音信号的频谱内容的一种可视化示意,它的垂直轴示意 mel 尺度上的频率,程度轴示意工夫。它是音频信号处理中罕用的一种示意模式,特地是在音乐信息检索畛域。

梅尔音阶 (Mel scale,英语:mel scale) 是一个思考到人类音高感知的音阶。因为人类不会感知线性范畴的频率,也就是说咱们在检测低频差别方面要胜于高频。例如,咱们能够轻松分辨出 500 Hz 和 1000 Hz 之间的差别,然而即便之间的间隔雷同,咱们也很难分辨出 10,000 Hz 和 10,500 Hz 之间的差别。所以梅尔音阶解决了这个问题,如果梅尔音阶的差别雷同,则意指人类感觉到的音高差别将雷同。

 defwav2melspec(fp):
     y, sr=librosa.load(fp)
     S=librosa.feature.melspectrogram(y=y, sr=sr, n_mels=128)
     log_S=librosa.amplitude_to_db(S, ref=np.max)
     img=librosa.display.specshow(log_S, sr=sr, x_axis='time', y_axis='mel')
     # get current figure without white border
     img=plt.gcf()
     img.gca().xaxis.set_major_locator(plt.NullLocator())
     img.gca().yaxis.set_major_locator(plt.NullLocator())
     img.subplots_adjust(top=1, bottom=0, right=1, left=0,
             hspace=0, wspace=0)
     img.gca().xaxis.set_major_locator(plt.NullLocator())
     img.gca().yaxis.set_major_locator(plt.NullLocator())
     # to pil image
     img.canvas.draw()
     img=Image.frombytes('RGB', img.canvas.get_width_height(), img.canvas.tostring_rgb())
     returnimg

上述函数将产生一个简略的 mel 谱图:

当初咱们从文件夹中加载数据集,并对图像利用转换。

 classAudioDataset(Dataset):
     def__init__(self, root, transform=None):
         self.root=root
         self.transform=transform
         self.classes=sorted(os.listdir(root))
         self.class_to_idx= {c: ifori, cinenumerate(self.classes)}
         self.samples= []
         forcinself.classes:
             forfpinos.listdir(os.path.join(root, c)):
                 self.samples.append((os.path.join(root, c, fp), self.class_to_idx))
     
     def__len__(self):
         returnlen(self.samples)
     
     def__getitem__(self, idx):
         fp, target=self.samples[idx]
         img=Image.open(fp)
         ifself.transform:
             img=self.transform(img)
         returnimg, target
 
 train_dataset=AudioDataset(root, transform=transforms.Compose([transforms.Resize((480, 480)),
     transforms.ToTensor(),
     transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
 ]))

ViT 模型

咱们将利用 ViT 来作为咱们的模型:Vision Transformer 在论文中首次介绍了一幅图像等于 16×16 个单词,并胜利地展现了这种形式不依赖任何的 cnn,间接利用于图像 Patches 序列的纯 Transformer 能够很好地执行图像分类工作。

将图像宰割成 Patches,并将这些 Patches 的线性嵌入序列作为 Transformer 的输出。Patches 的解决形式与 NLP 应用程序中的标记 (单词) 是雷同的。

因为不足 CNN 固有的演绎偏差(如局部性),Transformer 在训练数据量有余时不能很好地泛化。然而当在大型数据集上训练时,它的确在多个图像识别基准上达到或击败了最先进的程度。

实现的构造如下所示:

 classViT(nn.Sequential):
     def__init__(self,     
                 in_channels: int=3,
                 patch_size: int=16,
                 emb_size: int=768,
                 img_size: int=356,
                 depth: int=12,
                 n_classes: int=1000,
                 **kwargs):
         super().__init__(PatchEmbedding(in_channels, patch_size, emb_size, img_size),
             TransformerEncoder(depth, emb_size=emb_size, **kwargs),
             ClassificationHead(emb_size, n_classes)
         )

训练

训练循环也是传统的训练过程:

 vit=ViT(n_classes=len(train_dataset.classes)
 )
 
 vit.to(device)
 
 # train
 train_loader=DataLoader(train_dataset, batch_size=32, shuffle=True)
 optimizer=optim.Adam(vit.parameters(), lr=1e-3)
 scheduler=ReduceLROnPlateau(optimizer, 'max', factor=0.3, patience=3, verbose=True)
 criterion=nn.CrossEntropyLoss()
 num_epochs=30
 
 forepochinrange(num_epochs):
     print('Epoch {}/{}'.format(epoch, num_epochs-1))
     print('-'*10)
 
     vit.train()
 
     running_loss=0.0
     running_corrects=0
 
     forinputs, labelsintqdm.tqdm(train_loader):
         inputs=inputs.to(device)
         labels=labels.to(device)
 
         optimizer.zero_grad()
 
         withtorch.set_grad_enabled(True):
             outputs=vit(inputs)
             loss=criterion(outputs, labels)
 
             _, preds=torch.max(outputs, 1)
             loss.backward()
             optimizer.step()
 
         running_loss+=loss.item() *inputs.size(0)
         running_corrects+=torch.sum(preds==labels.data)
 
     epoch_loss=running_loss/len(train_dataset)
     epoch_acc=running_corrects.double() /len(train_dataset)
     scheduler.step(epoch_acc)
 
     print('Loss: {:.4f} Acc: {:.4f}'.format(epoch_loss, epoch_acc))

总结

应用 PyTorch 从头开始训练了这个 Vision Transformer 架构的自定义实现。因为数据集十分小(每个类只有 100 个样本),这影响了模型的性能,只取得了 0.71 的准确率。

这只是一个简略的演示,如果须要进步模型体现,能够应用更大的数据集,或者略微调整架构的各种超参数!

https://avoid.overfit.cn/post/1f4156a56139417d97745066c0b497ec

作者:Alessandro Lamberti

正文完
 0