关于人工智能:使用Torchmetrics快速进行验证指标的计算

55次阅读

共计 2980 个字符,预计需要花费 8 分钟才能阅读完成。

TorchMetrics 能够为咱们提供一种简略、洁净、高效的形式来解决验证指标。TorchMetrics 提供了许多现成的指标实现,如 Accuracy, Dice, F1 Score, Recall, MAE 等等,简直最常见的指标都能够在外面找到。torchmetrics 目前曾经包好了 80+ 工作评估指标。

TorchMetrics 装置也非常简单,只须要 PyPI 装置最新版本:

 pip install torchmetrics

根本流程介绍

在训练时咱们都是应用微批次训练,对于 TorchMetrics 也是一样的,在一个批次前向传递实现后将目标值 Y 和预测值 Y_PRED 传递给 torchmetrics 的度量对象,度量对象会计算批次指标并保留它 (在其外部被称为 state)。

当所有的批次实现时(也就是训练的一个 Epoch 实现),咱们就能够从度量对象返回最终后果 (这是对所有批计算的后果)。这里的每个度量对象都是从 metric 类继承,它蕴含了 4 个要害办法:

  • metric.forward(pred,target)– 更新度量状态并返回以后批次上计算的度量后果。如果您违心,也能够应用 metric(pred, target),没有区别。
  • metric.update(pred,target)– 与 forward 雷同,然而不会返回计算结果,相当于是只将后果存入了 state。如果不须要在以后批处理上计算出的度量后果,则优先应用这个办法,因为他不计算最终后果速度会很快。
  • metric.compute()– 返回在所有批次上计算的最终后果。也就是说其实 forward 相当于是 update+compute。
  • metric.reset()– 重置状态,以便为下一个验证阶段做好筹备。

也就是说:在咱们训练的以后批次,取得了模型的输入后能够 forward 或 update(倡议应用 update)。在批次实现后,调用 compute 以获取最终后果。最初,在验证轮次(Epoch)或者启用新的轮次进行训练时您调用 reset 重置状态指标

例如上面的代码:

 import torch
 import torchmetrics
 
 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
 model = YourModel().to(device)
 metric = torchmetrics.Accuracy()
 
 for batch_idx, (data, target) in enumerate(val_dataloader):
     data, target = data.to(device), target.to(device)
     output = model(data)
     # metric on current batch
     batch_acc = metric.update(preds, target)
     print(f"Accuracy on batch {i}: {batch_acc}")
 
 # metric on all batches using custom accumulation
 val_acc = metric.compute()
 print(f"Accuracy on all data: {val_acc}")
 
 # Resetting internal state such that metric is ready for new data
 metric.reset()

MetricCollection

在下面的示例中,应用了单个指标进行计算,但个别状况下可能会蕴含多个指标。Torchmetrics 提供了 MetricCollection 能够将多个指标包装成单个可调用类,其接口与下面的根本用法雷同。这样咱们就无需独自解决每个指标。

代码如下:

 import torch
 from torchmetrics import MetricCollection, Accuracy, Precision, Recall
 
 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
 model = YourModel().to(device)
 # collection of all validation metrics
 metric_collection = MetricCollection({'acc': Accuracy(),
     'prec': Precision(num_classes=10, average='macro'),
     'rec': Recall(num_classes=10, average='macro')
 })
 
 for batch_idx, (data, target) in enumerate(val_dataloader):
     data, target = data.to(device), target.to(device)
     output = model(data)
     batch_metrics = metric_collection.forward(preds, target)
     print(f"Metrics on batch {i}: {batch_metrics}")
 
 val_metrics = metric_collection.compute()
 print(f"Metrics on all data: {val_metrics}")
 metric.reset()

也能够应用列表而不是字典,然而应用字典会更加清晰。

自定义指标

尽管 Torchmetrics 蕴含了很多常见的指标,然而有时咱们还须要本人定义一些不罕用的特定指标。咱们只须要继承 Metric 类并且实现 updatecomputing 办法就能够了,另外就是须要在类初始化的时候应用 self.add_state(state_name, default) 来初始化咱们的对象。

代码也很简略:

 import torch
 import torchmetrics
 
 class MyAccuracy(Metric):
     def __init__(self, delta):
         super().__init__()
         # to count the correct predictions
         self.add_state('corrects', default=torch.tensor(0))
         # to count the total predictions
         self.add_state('total', default=torch.tensor(0))
 
     def update(self, preds, target):
         # update correct predictions count
         self.correct += torch.sum(preds == target)
         # update total count, numel() returns the total number of elements 
         self.total += target.numel()
 
     def compute(self):
         # final computation
         return self.correct / self.total

总结

就是这样,Torchmetrics 为咱们指标计算提供了非常简单疾速的解决形式,如果你想更多的理解它的用法,请参考官网文档:

https://avoid.overfit.cn/post/bdedfe4229e04da49049c4e7d56152d1

作者:Mattia Gatti

正文完
 0