关于数据挖掘:视频分类模型评估精确率召回率ROC曲线AUC与R语言生存分析时间依赖性ROC实现附代码数据

37次阅读

共计 3852 个字符，预计需要花费 10 分钟才能阅读完成。

分类模型评估准确率、召回率、ROC 曲线、AUC 与 R 语言生存剖析工夫依赖性 ROC 实现

ROC 曲线是什么？
曲线下的面积是多少？
二元分类的决策阈值是多少？
分类模型可承受的 AUC 值是多少？
什么是准确召回曲线？
什么时候应该应用准确召回和 ROC 曲线？

如果你用搜寻 ROC 曲线，你会失去以下答案：

“ 接受者操作特色曲线 或 ROC 曲线是一个图形，它阐明了二元分类器零碎在其辨别阈值变动时的诊断能力。”**

这个定义不容易了解，对初学者来说可能听起来很吓人。

本文旨在帮忙您以一种简略的语言了解 ROC 曲线，以便您能够在 ROC 曲线背地建设一些根本思维。

在咱们进入 ROC 曲线之前，咱们须要记住混同矩阵是什么。

混同矩阵帮忙咱们可视化模型在辨别两个类别时是否“谬误”。它是一个 2×2 矩阵。行名是测试集中的理论值，列名是模型预测的。

Positive或 Negative 是 ML 模型预测标签的名称。每当预测谬误时，第一个词是False，当预测正确时，第一个词是True。

ROC 曲线基于从混同矩阵得出的两个指标：真正例率 (TPR ) 和假正例率 (FPR )。TPR与召回率雷同。它是正确预测的正样本除以数据集中可用的所有理论正样本的比率。

TPR 侧重于理论的正类：

真正例率公式

反过来，FPR 是假正例预测与真负样本总数的比率。

FPR 公式

ROC 曲线是基于 TPR 和 FPR 绘制的。

ROC 曲线示例

通过应用 TPR 和 FPR，ROC 曲线显示了您的分类模型在所有分类阈值下的性能。

然而分类决策阈值是多少？

首先，你的分类 ML 模型输入是一个概率。例如，您构建一个分类器来依据给定人的体重预测性别（女性或男性）。假如正类是女性（1），负类是男性（0）。而后，您将 150 公斤的分量样本传递给您的 ML 模型，该模型预测的概率为 0.23。

默认状况下，您的分类阈值为 0.5。任何高于 0.5 的概率将被归类为 1 类（正），低于 0.5 的概率将被归为 0 类（负）。给定 0.23 的概率，体重 150 公斤的人将被归类为负类（男性）。

简而言之，您应用此阈值作为截止值，将预测后果分类为正类或负类。这是一个后处理步骤，将预测概率作为二进制类别返回。通过更改阈值，您的 TP、TN、FP 和 FN 将发生变化，因而您能够依据要改良的指标对其进行优化。

因而，ROC 反过来会告诉您您的 ML 模型可能在多大程度上辨别不同阈值的两个类别。

您应用称为 AUC 曲线下面积 来测量 ROC。您应用 AUC 来评估算法的品质，以便在两个类别之间进行检测。

A rea U under the Curve： AUC

让咱们通过图形示例来回顾 ROC。

假如咱们正在建设一个模型来预测：申请人是偿还贷款还是坏帐。

在下图中，蓝线是正类预测概率的散布，示意申请者拒付（未能偿还），红线是负类预测概率分布，示意申请者将偿还。

在以下状况下，AUC 为 0.70。这意味着该模型可能正确区分正类和负类之间的 70%。

AUC=0.7

显然，咱们离现实的状况还很远。曲线将重叠，这意味着咱们的 ML 模型会犯错误，咱们将其视为误报。

现实分类器示例

上述案例阐明了当咱们的 ML 模型正确预测两个类时的现实状况。散布之间没有重叠。该模型能够完满辨别正类和负类，是一个现实的分类器。

可能存在 AUC 为 0.5 的状况。这意味着咱们的 ML 模型无奈辨别正类和负类。它实际上是一个随机分类器。

AUC = 0.5

有时 AUC 为 0。这意味着模型反向预测类别。该模型认为负类是正类，反之亦然。

AUC = 0

总而言之，正当的 AUC 超过 0.5（随机分类器），而好的分类模型的 AUC > 0.9。然而，这个值高度依赖于它的利用。

视频：R 语言生存剖析原理与早期肺癌患者剖析案例

R 语言生存剖析 Survival analysis 原理与早期肺癌患者剖析案例

人们通常应用接收者操作特色曲线（ROC）进行二元后果逻辑回归。然而，流行病学钻研中感兴趣的后果通常是事件产生工夫。应用随工夫变动的工夫依赖性 ROC 能够更全面地形容这种状况下的预测模型。

令 Mi 为用于死亡率预测的基线（工夫 0）标量标记。当随时间推移察看到后果时，其预测性能取决于评估工夫 t。直观地说，在零工夫测量的标记值应该变得不那么相干。因而，ROC 测得的预测性能（辨别）是工夫 t 的函数。

累积病例 / 动静 ROC 定义了在工夫 t 处的阈值c 处的灵敏度和特异性，如下所示。

累积灵敏度将在工夫 t 之前死亡的视为分母（疾病），而将标记值高于 c 的作为实在阳性（疾病阳性）。动静特异性将在工夫 t 依然活着作为分母（衰弱），并将标记值小于或等于 c 的那些作为实在阴性（衰弱中的阴性）。将阈值 c 从最小值更改为最大值会在工夫 t 处显示整个 ROC 曲线。

新发病例 ROC1 在工夫 t 处以阈值 c 定义灵敏度和特异性，如下所示。

累积灵敏度将在工夫 t 处 死亡的人视为分母（疾病），而将标记值高于 Ç 的人视为实在阳性（疾病阳性）。

咱们以数据包中的 dataset3survival 为例。事件产生的工夫就是死亡的工夫。Kaplan-Meier 图如下。



## 变成 data_frame
data <- as_data_frame(data)
## 绘图
plot(survfit(Surv(futime, fustat) ~ 1,
                   data = data)

可视化后果：

在数据集中超过 720 天没有产生任何事件。


## 拟合 cox 模型
coxph(formula = Surv(futime, fustat) ~ pspline(age, df = 4) + 
## 取得线性预测值
 predict(coxph1, type = "lp")

实现了累积病例


## 定义一个辅助函数，以在不同的工夫进行评估
ROC_hlp <- function(t) {
    survivalROC(Stime        
                status        
                marker        
                predict.time = t,
                method       = "NNE",
                span = 0.25 * nrow(ovarian)^(-0.20))
}
## 每 180 天评估一次
ROC_data <- data_frame(t = 180 * c(1,2,3,4,5,6)) %>%
    mutate(survivalROC = map(t, survivalROC_helper),
           ## 提取 AUC
           auc = map_dbl(survivalROC, magrittr::extract2, "AUC"),
           ## 在 data_frame 中放相干的值
           df_survivalROC = map(survivalROC, function(obj) {
           
## 绘图
 ggplot(mapping = aes(x = FP, y = TP)) +
    geom_point() +
    geom_line() +
      facet_wrap(~ t) +

可视化后果：

180 天的 ROC 看起来是最好的。因为到此刻为止简直没有事件。在最初察看到的事件（t≥720）之后，AUC 稳固在 0.856。这种体现并没有消退，因为高风险分数的人死了。

实现新发病例


## 定义一个辅助函数，以在不同的工夫进行评估
 
## 每 180 天评估一次
 
            ## 提取 AUC
           auc = map_dbl(risksetROC, magrittr::extract2, "AUC"),
           ## 在 data_frame 中放相干的值
           df_risksetROC = map(risksetROC, function(obj) {
               ## 标记栏
               marker <- c(-Inf, obj[["marker"]], Inf)
 
## 绘图
 
    ggplot(mapping = aes(x = FP, y = TP)) +
    geom_point() +
    geom_line() +
    geom_label(data = risksetROC_data %>% dplyr::select(t,auc) %>% unique,
    facet_wrap(~ t) +

可视化后果：

这种差别在前期更为显著。最值得注意的是，只有在每个工夫点处于危险集中的个体能力提供数据。所以数据点少了。体现的消退更为显著，兴许是因为在那些存活工夫足够长的人中，工夫零点的危险分没有那么重要。一旦没有事件，ROC 基本上就会趋于平缓。

总之，咱们钻研了工夫依赖的 ROC 及其 R 实现。累积病例 ROC 可能与危险（累积发生率）预测模型的概念更兼容。新发病例 ROC 可用于查看工夫零标记在预测后续事件时的相关性。

Heagerty,Patrick J. and Zheng,Yingye, Survival Model Predictive Accuracy and ROC Curves,Biometrics，61（1）,92-105（2005）. doi：10.1111 / j.0006-341X.2005.030814.x.

最受欢迎的见解

1.R 语言绘制生存曲线预计 | 生存剖析 | 如何 R 作生存曲线图

2.R 语言生存剖析可视化剖析

3.R 语言如何在生存剖析与 Cox 回归中计算 IDI，NRI 指标

4.r 语言中应用 Bioconductor 剖析芯片数据

5.R 语言生存剖析数据分析可视化案例

6.r 语言 ggplot2 误差棒图疾速指南

7.R 语言绘制性能富集泡泡图

8.R 语言如何找到患者数据中具备差别的指标？（PLS—DA 剖析）

9.R 语言中的生存剖析 Survival analysis 早期肺癌患者 4 例

正文完

数据挖掘

发表至：数据挖掘

2023-09-18

0

关于数据挖掘:R语言分位数回归GAM样条曲线指数平滑和SARIMA对电力负荷时间序列预测

关于数据挖掘:R语言STAN贝叶斯线性回归模型分析气候变化影响北半球海冰范围和可视化检查模型收敛性附代码数据

关于数据挖掘:R语言Gibbs抽样的贝叶斯简单线性回归仿真分析附代码数据

关于数据挖掘:拓端tecdatR语言时间序列和ARIMA模型预测拖拉机销售的制造案例研究

关于数据挖掘:R语言生态学种群空间点格局分析聚类泊松点过程对植物蚂蚁巢穴分布数据可视化

关于数据挖掘:视频分类模型评估精确率召回率ROC曲线AUC与R语言生存分析时间依赖性ROC实现附代码数据

全文链接：http://tecdat.cn/?p=20650

原文出处：拓端数据部落公众号

视频 | 分类模型评估: 准确率、召回率、ROC 曲线、AUC 与 R 语言生存剖析工夫依赖性 ROC 实现

本文将帮忙您答复以下问题：

什么是 ROC 曲线？

混同矩阵

R 语言中生存分析模型与工夫依赖性 ROC 曲线可视化

工夫依赖性 ROC 定义

累积病例

新发病例

数据筹备

累积病例

新发病例

论断

参考

Just My Socks（注册教程内含优惠码）

关于数据挖掘:视频分类模型评估精确率召回率ROC曲线AUC与R语言生存分析时间依赖性ROC实现附代码数据

全文链接：http://tecdat.cn/?p=20650

原文出处：拓端数据部落公众号

视频 | 分类模型评估: 准确率、召回率、ROC 曲线、AUC 与 R 语言生存剖析工夫依赖性 ROC 实现

本文将帮忙您答复以下问题：

什么是 ROC 曲线？

混同矩阵

R 语言中生存分析模型与工夫依赖性 ROC 曲线可视化

工夫依赖性 ROC 定义

累积病例

新发病例

数据筹备

累积病例

新发病例

论断

参考

Just My Socks（注册教程 内含优惠码）

Just My Socks（注册教程内含优惠码）