ROC分析方法概要Word文档格式.docx

ROC分析方法概要Word文档格式.docx

《ROC分析方法概要Word文档格式.docx》由会员分享，可在线阅读，更多相关《ROC分析方法概要Word文档格式.docx（12页珍藏版）》请在冰豆网上搜索。

据表2-1其计算公式是：

灵敏度（sensitivity）=真阳率（TPR）

=1?

假阴率（FNR）=

标准误为：

SL；

v：

=

特异度（specificity），也叫真阴率（truenon-positiverate，即TNPR，是受试者无病且被正确诊断为无病者的样本量占阴性总体的比例。

假阳率（falsepositiverate，即FPR=1?

特异度特异度值越大，假阳率越小。

特异度（specificity）=真阴率（TNPR）=1?

假阳率（FPR）=

:

■-:

山：

假设二分类总体均服从正态分布，TPR、FPRTNPR和FNP之间的关系可以用图2-1来描述。

图中x=c为截断点（诊断阈值），a为假阳率（FPR,B为假阴率（FNPR。

ROC准确性评价指标的优越性

诊断试验的准确性评价指标有正确率、灵敏度和特异度等。

它们虽然都可以反映诊断的准确性，但评价的效果不是很理想。

正确率是被测试者被正确诊断的例数和所占总体的百分数。

其计算公式是：

a+d

止确百分率=—z—X100%

N

正确百分率的不足之处：

1•很大程度上依赖患病率。

例如，虽然患病率是5%如果判定所有样本为健康者，也有可能有95%勺正确百分率；

2.受诊断阈值的限制；

3•没有表示出假阳性和假阴性错误诊断所占的比例，没有唯一性表示，即

使有相同的正确百分率的两个总体，也可能有十分不同的假阳性和假阴性。

基于此，单独计算灵敏度和特异度，以弥补正确率的不足，如果两个指标的值越高，诊断评价效果也就越好，其实不然。

在对诊断系统做出比较时，如果单独使用灵敏度与特异度，就会存在很大的不足：

这两个指标依赖于诊断阈值（或截断点），改变诊断阈值可以增加诊断的灵敏度，但同时也减少了特异度；

反之,

如果增加诊断的特异度，则需要以减少灵敏度为代价。

另外，有人提出的Youden指数、阳性似然比、：

真阳率与假阳率之比）和阴性似然比等等。

Youden指数是指真阳性率与假阳性率之差，计算公式为：

Youden指数二灵敏度+特异度-1=真阳性率-假阳性率

=TPR-FPR=召-召

acrd

其标准误为：

"

■■■I-F,

阳性似然比（positivelikelihoodratio简写为：

L^）是真阳性率与假

阳性率之比，即灵敏度与（1-特异度）的比值，它是ROCS线某工作点对应的斜率。

阴性似然比（negativelikelihoodratio简写为：

LR）是假阴性率与真

阴性率之比，即（1-敏感度）与特异度的比值。

这些诊断指标综合考虑了灵敏度和特异度，但一个指标只对应于一个诊断阈值。

当诊断阈值改变时，会得到不同的指标值，给诊断准确度的比较带来不便。

所以一般选择阳性似然比或Youden指数最大者为最佳工作点。

在评价整个诊断方法的准确性时用ROC分析，当改变诊断阈值时，可同时获得灵敏度和特异度，也就可以获得TPR和FPR值。

ROC曲线是以FPR为横坐标和以TPR为纵坐标绘制而成，并且ROC曲线下的面积大小衡量了诊断系统的判别能力。

ROC曲线的构建

FRP

以假阳性率（FPR为横坐标、真阳性率（TRP为纵坐标，形成正方形，在图上将ROC工作点标出，并用线条将这些低昂依序连接起来构建不光滑的ROC

曲线。

构建光滑的曲线需要交涉对照组和病例组服从于某一分布（如正态分布、Gamma分布等），用曲线拟合技术估计其参数，直接用参数产生曲线。

无论资料类型如何，曲线一定通过（0,0）和（1,1）两点，这两个点对应着灵敏度=0,特异度=1和灵敏度=1,特异度=0.理论上诊断实验都有TPR=1FPR=0完全无价值的诊断为TPR=FPR这条线条称为几率线（guessingline或chaneeline），也称为无信息线（lineofnoinformation）；

ROC®

线对诊断的准确性采用同一尺度直观地体现出来，描述了诊断实验对

正反两种状态的判别能力。

曲线上每一个点通过改变其诊断阀值（截断点）而得，是灵敏度和特异度的折衷结果。

提高诊断标准则产生较低的灵敏度和较高的特异度；

降低诊断标准则产生较高的灵敏度和较低的特异度。

如果比较两个诊断方法的效果，则较高的ROCS线具有较好的诊断性能，如果曲线交叉，则通过计算曲线下面积进行进一步比较。

用ROCft线下面积（记为Az）反映诊断试验的准确度，它可以被看成是正确决策的概率。

该面积的取值范围为（,1），完全无价值的诊断A=;

完美的诊断Az=1o习惯上认为ROCft线下面积为〜，表示诊断的准确度较低；

在〜之间表示诊断的准确度中等；

面积达到以上则表示诊断的准确度较高。

ROC曲线的拟合方法

ROC曲线的获得是通过两个不同的总体（正常组和异常组），它的横轴和纵轴（假阳性率和真阳性率）存在相关关系，因此不能假定它们来自单一的总体，不能用一般非线性模型拟合。

ROCS线拟合方法主要有双正态模型参数法和非参数法。

除了主要的ROC分析方法外，有序回归模型（包括位置尺度模型、比例优势模型、GEBt）、COX比例风险模型等也可以拟合ROCS线、计算ROCS线下面积以及标准误。

这些模型还考虑了协变量的混杂效应。

双正态模型参数法

双正态模型假定正常组和异常组都服从正态分布。

当前该模型在ROC分析上比较完善，可以处理不同的ROCS料，获得光滑的ROCS线。

当样本量较大时，有序分类数大于5时，该模型获得的结果是比较可靠的。

但是当样本量较少时，双正态模型拟合会产生退化资料，ML估计会迭代不收敛。

按“金标准”将实验对象划分为正常组和异常组，假设它们分别服从总体均

方差为的正态分布

N；

U0*圈、N（卩“岸，对任意诊断阀值（截断点）t,假阳性率为:

■t-Uo

FPR二Pr｛x0>

t丨正堆｝=1-<

J>

（）

an

真阳性率为：

t-ui

TPR=Prfx!

>

t异常｝=1-0（

其中"

、灯分别表示正常组和异常组的实验测量值或有序分类之；

t为截断点，实验测量值x>

t,诊断为阳性，xwt诊断为阴性；

e〈2|为标准正态累积分

布函数。

令■•'

'

「書，则有:

TPR二

Mi"

U1（jI（Jd

令」，，」,则上式可写为:

TPR=0>

[a+bO■'

（FPR）,。

WFPRW1其中e'

（?

）为标准正态离差值。

整个RO曲线下面积为:

参数a、b通过极大似然法（maximumlikelihood,ML估计。

非参数R0拟合方法

非参数法主要有：

Hanley和McNeil法、Delong和Clarke-Pearson法。

非参数法对正常组和异常组的分布没有要求，它们可以充分利用所有的截断点，对连续性样本量没有大小的显着，不会出现计算结果不收敛的情况。

当截断点（或有序分类）大于5时，结果比较理想，当截断点不断增加时，ROC曲线将逐渐向光滑参数曲线靠拢。

Hanley和McNeil非参数法

假设正常组的观察值个数为n°

记作和」。

二12匕M）；

异常组的观察值个数为m,记作（L'

：

•。

异常组的观察值更大，根据Wilcoxon

Mann-Whitney统计量，ROXS线下面积等于异常组每个观测值大于正常组每个观测值的概率。

即

r1“m

屮Gg）=Q5*二xo；

L0Xfj<

八的标准误为:

SE（AZ）二

-A?

）+-1）心-妒）+（n0--曲？

JW0

其中匚是两个随机随着的异常组观测值比一个随机选择的正常组观察值都更大可能分类为异常的概率。

x是一个随机随着的异常组观测值比两个随机选择的正常组观察值都更大可能分类为异常的概率。

基于非参数法的ROC分析

基于本文实证分析采用的是非参数方法的ROC模型，因此将在本小结着重介

绍下非参数法的ROC分析

等级变量的非参数ROC分析

通常情况下，诊断系统获得的原始资料的记录有离散型和连续型两种形式。

许多生物医学诊断试验的测量工具是连续型的，如血清抗原和酶浓度；

医学影像诊断试验的诊断结果是离散型的。

对于不同的形式，ROC®

线估计方法是相同的，我们以离散型诊断结果为例。

如果将诊断指标以有序分类的方式分成k类，k=1,…，K。

其中1类别表示完全没患病，K类别表示肯定患病。

假设对于每一个分类类别Y,有一个隐

藏的连续决策变量X,将结果划分到第k类中，如果决策变量X在区间（•）

中，k=1,…，K;

“—8,“;

即当Tk-1<

X<

Tk，贝UY=k。

第k类中，Mo表示第k类中的正常个体数，2表示第k类中的异常个体数，N）为正常总个体数，N表示异常总个体数，N表示总个体数。

一般可划分为5（或

6）等级，即肯定不正常、可能不正常、异常可疑、可能正常、肯定正常，分别

以1、2、3、4、5标记。

如表表示:

诊断分类

1

2

3

4

5

正常

No

N3o

N4o

N0

异常

“1

Nh

N31

Nn

每个分类可以作为诊断阈值（通常从第二个分类开始，因为若以第一个分类为阈值，其实是没有什么意义的），阳性和阴性的判断标准是：

该类及以上类别的样本为阳性；

该类以下样本为阴性，对于每一个诊断阈值，都可以整理出类似

于表2-1的2X2的列联表。

例如，以表2-2中的分类3为诊断阈值时，正常组阳性个体数为N3o+No+No，其假阳率为

“30+hUo+N^o

FPR=

Nd

异常组阳性个体数为N31+NU21，其真阳率为

同样可以以表中的分类5、4、2为诊断阈值来计算的ROC的坐标点，并得到相应的FPR和TPR图描述了不同诊断阈值下的分类：

此时，我们假设正常组和异常组的总体都满足正态分布。

图中采用4个诊断阈值将正常组和异常组分

实例分析

在放射学诊断试验中，有109份CT影像，正常影像为58份，异常影像为51

份，有位影像工作者将这些CT影像分类为如表2-3所示:

33

6

11

58

51

109

根据节的结论，我们可以得到以类别2、3、4、5为诊断阈值的2X2的列联

表，从而得到相应的R0工作点。

以类别2为诊断阈值:

金标准

患、^者

48

25

73

36

TPR=

FPR=

正常组阳性个体数为25，其假阳性率为

FPR==

异常组阳性个体数为48，其真阳性率为

TPR==

同理可得到分类3、4、5这四个诊断阈值所对应的R0工作点。

故FPRTPR=,,,,,,,。

从图可以看出，诊断阈值越严格（分类类别越高），将试验结

果决策为阳性的可信度越高；

诊断阈值越宽松（分类类别越低），将试验结果决策为阳性的可信度也相应地越低。

连续变量的非参数R0分析

若诊断结果为连续型变量，则处理方法与上面等级变量类似，设定阈值c,

当y>

c时为阳性，当ywc时为阴性。

那么，若设“金标准”为K,则对于每一个阈值c,我们就能推断出相应的真阳率TPR（灵敏度）和假阳率FPR（1?

特异度），设灵敏度为Sen（c），特异度为Spe（c），则有：

rti

工1（州>

c|k=1）

j,=.I

TPR（c）二Sen（c）=

比

》Ky；

c|k=0）

FPR（c）=1-Sp^（c）=

no

其中，no为金标准K=C时的样本量，同理，ni为金标准K=1时的样本量。

如上述所示，当变量为连续型时，每个c都有对应的灵敏度和特异度，把c取遍此连续型变量在样本中的所有互异的观测值，把这些点对{FPR（c），TPR（c）}连成曲线便构成RO曲线。

ROC曲线间差异的显着性检验

ROC曲线提供了直观比较两个诊断方法准确性的方法，较高的ROC曲线具有较好的诊断性能，但是如果曲线交叉，则无法直观地看出来，同时，直观上看两条曲线有差异，但是不一定是统计显着的，所以需要通过统计检验的方法进一步检验两种诊断方法的准确性是否有显着差别。

采用参数法非参数法拟合ROC曲线有不同的检验方法。

对于双正态模型方法拟合的ROC®

线，可以采用双变量参数卡方检验（bivariateChi-squaretest）、真阳性率z检验（TPRZ-scoretest）、面积z检验（areaz-scoretest）。

双变量参数卡方检验

检验两诊断实验的双正态参数间有无差异。

假设两个ROC®

线的参数分别是

（arbi）、（日2,bj）。

原假设：

两条双正态ROCS线相同，即--芒齐-L■

如果原假设成立，且参数估计值悅，从希右$为联合正态分布。

则检验统计量为：

7s-14

X2二&

⑷6

服从自由度为2的卡方分布，其中J为行向量（訴-知上1-,胡是2X2

协方差矩阵，矩阵元素：

wii=Var（ai）+Var（aj）-2Cqv（si忌）

U022-Var（bi）十Var（bj）-2Cov,b£

）

ii）12=0）2n=Goxi,bj+Cox（a；

&

J-Cox[r-Cox（a；

真阳性z检验

有时候想要研究的是在特定的假阳性率条件下，两条ROCS线上的真阳性率

是否相同。

此时并不关心两诊断实验是否产生完全相同的ROCS线。

此时，原假设为：

在特定的FPR下，两条ROC曲线的TPR相等，即

TPR=TPR=TPR=

当原假设成立，且州，b仃旳，为为多变量正态，贝U

v二0（FPR?

）-<

P（FPRi）=a?

+"

^FPRo）-[ai+bi^FPRo）]

厂I*1I

服从均值为0，标准差CTV=V'

W11-2tOJl2+芒⑴胡的随机正态分布。

其中

t=e八（1-FPRo）0

面积z检验

该方法对ROCS线下面积间的差值做z检验来判断两个诊断实验方法的准确性。

原假设为：

两条ROCS线下面积相等，即A1=A0,如果原假设成立，且样本量较大，则两诊断ROCS线下面积的差值：

近似服从均值为0,方差为:

弭倚）倚冷彳

的正态分布，其中:

：

I■11I■:

.,为ROC曲线的四个

参数。

当两个比较的诊断实验相互独立时，对应的所有交叉曲线协方差项等于等的研究表明，当正常组和异常组的样本量都超过50时，以上检验的结果都是可靠的。

非参数拟合ROC曲线时，曲线下面积的比较

利用Hanley和McNeil非参数法拟合ROC曲线时，比较两个ROC曲线下面积间是否有显着差异时，可用检验统计量

V'

SE?

+SE舟-2rSEiSE;

z是标准正态的离差值，让匸肿心是两个实验的标准误，分别有上文计算公式得到。

r是两个ROC曲线下面积间的相关系数，计算正常组的两诊断实验间的相关系数和异常组的两诊断实验间的相关系数，得到两诊断实验的平均相关系数，以

及平均面积，查表可得r值。

ROC曲线的统计软件实现

本文中涉及编程的内容全部由统计软件R完成，因此现在介绍在R中的ROC曲线的绘制。

与ROC曲线有关的应用统计软件包pROC它使得ROC曲线直观可视化、平滑化和易比较。

ROC函数是这个包中最基本的单元。

它可以建立ROC

曲线，如果需要将曲线平滑化，就将选项smooth=TRUE;

如果需要计算去曲

线下方的面积即AUC，就将选项auc=TRUE;

如果需要计算置信区间，就将选项ci=TRUE;

如果需要画出ROC曲线，就将选项plot=TRUE。

R语句如下：

roc（response,predictor,controls,cases,density.

controls,

density,case,level=base工levels（as.factor（response））,percent

=FALSE,

auc=TURE,ci=FALSE,plot=FALSE,smooth.method="

binormal"

ci.method=NULL,density=NULL,…）

它以每组的观测值，也可称为有序分类值，为解释变量，分类的“金标准”

为因变量，就可以对应地在每个截断点，获得灵敏度和特异度（1?

假阳率）等指

标，并可获得非参数方法估计的曲线下面积。

也可以用函数直接画出ROC曲线:

plot.roc（x,add=FALSE,reuse.auc=TRUE,axes=TURE,…）

其中，x为由roc函数的得到的数据结构。

除此之外，统计软件SPSS中也提供了ROC曲线绘制的程序。