在医学统计学和临床预测模型构建中，受试者工作特征曲线，也就是ROC曲线，以及其曲线下面积，也就是AUC，是评估二分类模型分辨能力的常规指标。
无论是在影像学辅助诊断，还是在重症监护预警系统中，研究者常常报告一个较高的AUC值，来证明模型的有效性。
![MTY4ODg1NTQ4MzcyMTIzOA_97966_VT3szCmNdN-l12od_1775119939[1].png](/storage/news/beyond-roc-auc-clinical-prediction-model-evaluation/img_01.png)
多个临床预测模型的ROC曲线
但在真实的临床环境中，仅仅依靠ROC和AUC是远远不够的。
接下来详细探讨，为什么单一指标体系会忽略模型在临床实际使用中的潜在风险。
1. 数据失衡导致的虚高现象
临床数据经常面临严重的数据不平衡现象：
以罕见病筛查或早期肿瘤检测为例，普通人群中患病的正样本非常稀少，而健康人群的负样本数量规模庞大。
在这种流行病学特征下，ROC曲线会呈现出模型性能很好的虚高现象。
原因在于：
ROC曲线的横坐标是假阳性率，也就是FPR。
FPR的计算公式是，假阳性样本数除以所有实际负样本数。
在不平衡数据中，由于负样本数量占明显主导，ROC曲线主要反映了模型在占多数的负样本上的区分能力，对模型在少数正样本上性能的细微变化不敏感。可能导致一个在正样本上召回率很低的模型，依然获得较高的AUC值，造成性能虚高的假象。
最终的计算结果可能是AUC高达0.95，但模型在实际筛查中却产生大量的误诊病例，导致医疗资源的严重浪费，并给患者带来不必要的心理创伤。
2. 引入PR曲线还原真实表现
对于这种发病率很低的疾病模型评估，不得不引入精确率和召回率曲线，也就是PR曲线。
![MTY4ODg1NTQ4MzcyMTIzOA_420025_wj_oU8_W7okrnEB7_1775119697[1].png](/storage/news/beyond-roc-auc-clinical-prediction-model-evaluation/img_03.png)
评估不平衡数据的PR曲线对比
PR曲线的评估焦点在于模型预测出的阳性群体及其真实性：
精确率关注预测阳性中的真实患者比例；
召回率关注所有真实患者中被成功找出的比例。
因此，PR曲线对数据中正样本的分布和模型识别正样本的能力更为敏感，尤其适用于正样本稀缺的场景。
1. 漏诊与误诊的临床后果差异
AUC指标的一个固有设定：默认假阳性和假阴性的代价相等。
在真实的临床决策中，误诊和漏诊的医疗代价与患者预后结果，往往具有巨大的不对等性。
以肿瘤筛查为例：
漏诊一个早期肿瘤患者，也就是发生假阴性，可能会导致患者错失合适的手术时机，甚至影响患者生存期；
相反，把一个健康人误诊为疑似肿瘤，也就是发生假阳性，其直接代价通常是做活检等进一步的检查。
这种情况下，临床上就十分看重高召回率。
2. 结合干预收益评估实际价值
而在另一些场景中，例如评估是不是为患者实施某种具有高并发症风险的手术，把不适合手术的患者错误分类为适合手术的代价非常高昂，此时临床上更仰赖高精确率。
两个AUC相同的预测模型，如果它们在不同工作点的错误分布不同，其临床使用价值会产生巨大的差异。
只看AUC，无法帮助临床医生选出，比较符合当前疾病防治干预收益原则的模型。
3. 量化临床实用性的关键工具
为了量化模型在不同决策阈值下的实际应用价值，临床决策曲线分析（DCA）已成为关键工具。
![MTY4ODg1NTQ4MzcyMTIzOA_570811_8X_UqauCAeMfFocK_1775119722[1].png](/storage/news/beyond-roc-auc-clinical-prediction-model-evaluation/img_05.png)
量化临床净收益的临床决策曲线对比
DCA决策曲线通过计算模型在不同阈值概率下的净收益，将疾病患病率、误判的临床后果等因素一同纳入考量，能够直观展示使用该模型进行决策，是不是会比全部干预或全部不干预的默认策略，带来更多的临床获益。
1. 相对排序无法替代客观数值
AUC仅仅衡量模型把疾病样本排在健康样本前面的能力，是基于相对秩次的非参数检验指标。
在重症医学评分系统或心血管疾病远期风险预测中，医生不仅想知道谁的风险更高，还要明确知道具体的患病概率数值。
假设有两个风险预测模型：
模型甲预测真正发生心梗的患者发病概率是0.9，不会发生心梗的患者预测发病概率是0.1。
模型乙预测真正发生心梗的患者发病概率是0.51，不会发生的患者预测概率是0.50。
这两个模型的相对排序相对一致，因此它们的AUC值相等。
2. 综合评判概率的真实反映度
但在指导具体的临床用药剂量和随访频率时，模型甲给出的客观概率显然更具有临床指导意义。
为了评估模型输出的客观概率，是不是准确反映真实的临床发病率，往往要评估模型的校准度，通常结合Brier分数、对数损失或绘制校准曲线来进行综合评判。
![MTY4ODg1NTQ4MzcyMTIzOA_625628_Tl6b6-QPSS04Vadt_1775120010[1].png](/storage/news/beyond-roc-auc-clinical-prediction-model-evaluation/img_07.png)
评估概率客观准确性的校准曲线图
1. 从整体性能到具体医疗行为
临床决策最终落实到具体的医疗行为上：
要决定是不是开具某种抗生素，或者是不是把患者转入ICU。
AUC是对所有可能的分类截断值，也就是从0到1的概率阈值遍历后，计算出的整体性能表现。
当模型最终部署到医院的信息系统中时，往往设定一个单一且明确的阈值：
例如当预警系统输出的感染概率＞0.6时，自动触发警报。
单纯知道一个模型的AUC为0.85，并不能告诉研究者到底把截断值设定在0.3还是0.7比较合适。
2. 结合多指标确定优选阈值
为了找到能够指导临床干预的优选操作，往往需要结合具体的临床目标来选择阈值：
例如，可以结合F1分数来寻找精确率和召回率的平衡点；
或者利用尤登指数（Youden‘s Index）最大化灵敏度与特异度之和，从而找到一个区分能力比较好的阈值。
开展临床研究和构建医疗系统时，如果仅依赖ROC和AUC评估模型，可能会导致选出的模型在临床出现性能下降，甚至引发不良事件。
一个严谨的临床预测模型评估体系往往是多维度的，通常包括：
1. 区分度
常用ROC曲线与AUC评估模型的排序能力。
2. 校准度
通过校准曲线、Brier分数等评估预测概率的客观准确性。
3. 临床实用性
在特定场景下，在特定场景下针对不平衡数据结合PR曲线、基于临床代价的指标，或临床决策曲线分析来评估其真实世界价值。
4. 决策阈值优化
根据临床目标，利用F1分数、尤登指数或提升净收益等方法确定优选分类阈值。
只有经过这样全面且分层的评估，建立的医学预测模型，才能真正转化为客观可靠且有价值的临床辅助决策工具。
临床数据堆积如山，不知道如何筛选？或者没有临床数据，无从下手？难以形成系统的科研思路与课题框架？无法转化成文？
橙方深耕临床研究领域，紧跟科研热点，助你将临床数据转化为科研结果，发表有价值的高分SCI！欢迎咨询我们橙方科研临床1V1指导，助你最短时间拿到自己的accept！
橙方医学SCI一对一辅导
Meta分析
涵盖了经典Meta、网状Meta，再到到前沿的预测模型Meta，提供严谨、可靠的解决方案
生信分析
利用多组学整合（转录组、单细胞、蛋白组等），结合孟德尔随机化、网络毒理、药理等方法，解析数据挖掘创新
临床研究
基于NHANES、CHARLS、MIMIC等主流数据库，进行深度挖掘，并结合真实临床数据，量身定制分析方案
⬇️扫码咨询了解更多⬇️
💡 配套实验服务
如果你在临床研究或生信分析过程中需要配套的湿实验支持，医嘉研同步提供分子生物学实验服务、细胞实验服务、动物实验服务等一站式外包，覆盖完整的细胞生物学实验与分子生物学实验流程，从课题设计到数据产出全程辅助，让你的SCI研究更扎实。
