概念-方法学相关指标

准确性相关指标

测序得到的变异与参考变异结果的一致性程度 ,主要是测试方法得到的检测结果与已知样本变异信息的一致性匹配程度。

对准确性的评价可通过两部分进行:①通过检测已知序列的人基因组DNA(如标准细胞株)来评价测序本身的准确性;②通过检测临床样本进行验证,包括含有疾病相关突变的样本和含有与待检突变相同突变类型的样本。可将高通量测序与另一方法同时检测临床样本来评价,比较高通量测序与另一方法之间结果的差异,不一致的结果再用第三种方法确认,通过PPA和NPA来评价定性测定的准确度。
不同变异类型的比较方法如下,且将这些方法作为比较方法之前,均应先经过性能验证或性能确认:

变异类型 不同变异类型验证对比方法
SNV、InDel Sanger测序、等位基因特异性PCR、SNP arrays 等
CNV 实时荧光定量PCR、荧光原位杂交FISH、微阵列比较基因组杂交CGH
SV 实时荧光定量PCR、荧光原位杂交FISH

通过检测阳性符合率(PPA,positive percent agreement)阴性符合率(NPA,negative percent agreement)技术阳性预测值(TPPV,technical positive predictive value) 来评价检测准确性,并预先对这3个指标进行检测阈值设定,以评估测试是否可以达到预期目标。需要对这3个指标阈值设定可接受的具体值以及95%置信区间的下限值。并且需要针对受检的每种变异类型均需要设定。

准确性计算可以先对数据进行统计整理,构建如下表格:
image
然后基于该表格,按下述方式进行计算。

阳性符合率(PPA)

PPA定义为检测到的已知变异数量(TP,true posities)除以总的已知变异数量(TP加FN,false negatives),需要对每种变异类型计算PPA。PPA会影响假阴性检出频率。

  • PPA=A / (A+C);根据PPA计算假阴性率,FN=1-PPA

    阴性符合率(NPA)

    NPA定义为检测到的真阴性(TN,true negative)结果除以变异检测到的总野生变异(wt,wild-type=TN+FP)数量,需要对每种变异类型计算NPA。NPA会影响假阳性检出频率。
  • NPA=D / (D+B);根据NPA计算假阳性率,FP=1-NPA

    技术阳性预测值(TPPV,technical positive predictive value)

  • TPPV=A / (A+B)

精密度(Precision)

精密度指同一样本在多次检测中结果的一致程度,即在相同产品及实验条件下,相同样本相同批次以及不同批次的测序实验得到的结果之间的一致性程度,主要利用重复性(repeatability)和重现性(reproducibility)进行分析。以上检测不需要金标准测序结果,只需要测试者计算每个样本相同检测结果的重复比例即可。无检出或者无效检出重复比例也需要进行统计。数据精确性可通过生物学重复(至少三个样本)和技术重复(相同样本不同barcode)来评估;另有标准性材料建议使用3个参考样本,并且每个检测3-5次,在相同以及不同的测试批次中,这个建议作为评估平台精确度的最低要求。
评价重复性或重现性可以计算突变定性结果(阳性/阴性)的一致率,也可计算突变频率的变异系数,检测质量指标是否存在较大波动也可作为判断精密度的参考。

重复性(repeatability)

重复性指在同一条件下(相同环境、相同操作人员、相同检测流程、相同仪器)对相同或者短期内相似样本进行多次检测,评估变异检测结果的一致性程度。

重现性(reproducibility)

重现性指由不同操作人员、不同仪器(相同型号)进行相同或者短期内相似样本进行检测。评估变异检测结果的一致性程度。建议同一样本应包括不同操作人员、不同试剂批号、不同测序仪的检测。

检测限(limit of detection)

通常情况下,最低检测限定义为至少可以检出95%阳性变异的最低检测浓度以及变异频率。可以通过进行样本混合构建具有不同频率百分比范围的梯度稀释样本来评估对于不同变异类型的最低检测限。每种变异类型均需对LoD进行性能确认。

考虑到不同方法对特殊样本(肿瘤样本,ctDNA,嵌合体)检测局限性,有时Sanger测序并不是所有变异检测的金标准。所以在这种情况下,可通过稀释样本混合实验(dilution of samples with known allele frequencies)来测试NGS技术检验变异能力的动态范围。

计算LoD可采用两种方式:①直接用符合率为100%的最低MAF作为LoD,这种方式相对比较简单;②采用统计学分析来计算95%的LoD水平。例如,Probit分析是最常见的分析方法,具体做法是:首先列出每个MAF水平的阳性结果数量和总测定样本数量,然后将每个MAF水平检测的阳性百分比转换至Probit,最后构建Probit值与MAF的回归线图,查Probit表确定C95。

建立LoD时,需同时建立空白限(Limit of blank,LoB),LoB的定义是一定概率下测量空白样本时可能得到的最高检测结果,在高通量测序检测中指对阴性结果(野生型位点)检测可能得到的最高检测结果。
ps 在FDA审评中,检测下限也作为分析敏感性进行评价。

目前LOB、LoD概念整体上已经基本达成共识,但是在具体概念细节上,还存在歧义。因此在展示LOB指标的时候,还是尽量在结果展示阶段,说明具体的计算方法或参考资料。以避免引起一些不必要的歧义。

-------------本文结束感谢您的阅读-------------