摘要：目的 通过公式推导和实例验证，分析多阅片者多病例（multi-reader multi-case,MRMC）设计影像诊断试验准确度评价的统计分析方法。方法 本研究包括理论推导和实例验证两个部分。理论部分详细介绍了MRMC统计分析方法，特别是Obuchowski-Rockette(OR)与Dorfman-Berbaum-Metz(DBM)方法的原理和步骤。实例部分研究共纳入了100例受试者，其中67例疾病患者。四名阅片者分别采用传统胶卷影像方法和数字化影像方法进行阅片。通过OR与DBM方法对阅片结果进行分析。结果 实例研究显示，OR和DBM方法结果具有较高的一致性。当OR方法采用Jackknife估计协方差矩阵时，其结果与DBM方法完全吻合。结论 为准确评估影像诊断试验的临床性能，推荐采用OR和DBM方法进行影像诊断试验准确性评价的统计分析，以确保阅片者因素对评价结果的影响得到充分考虑。OR与DBM方法的结果较为接近，实际应用时应考虑具体数据特点和研究设计选择合适的分析方法。同时，OR与DBM方法的应用目前仍存在一定挑战，如软件实现、缺失数据处理，未来仍需要进一步的探索。

摘要：目的探索基于多阅片者多病例研究设计的影像诊断临床试验中选择以AUC为评价指标时DBMH方法(dorfman-berbaum-metz-hillis)与ORH方法(obuchowski-rockette-hillis)在数据处理与分析中的应用,并与ROC曲线分析法进行三者间比较。方法从理论角度阐述DBM(dorfman-berbaum-metz)法与DBMH法、OR(obuchowski-rockette)法与ORH法的联系与调整之处,并通过实例主动脉夹层诊断数据使用DBMH法、ORH法及ROC曲线分析法做进一步的分析。结果经DBMH法与ORH法分析未发现两种诊断方式单自旋回波MRI与电影序列MRI诊断效果存在统计学差异(PDBMH=0.0519,PORH=0.0695)。两分析方法中两诊断方式ROC曲线下面积差值及其95%置信区间分别为-0.0438(-0.0879,0.0004)与-0.0438(-0.0913,0.0037)。而ROC曲线分析法显示存在统计学差异(P=0.0058)。结论相对于DBMH法,ORH法存在较为保守的问题。在MRMC设计的影像诊断试验中,使用DBMH法或ORH法进行分析,较ROC曲线分析法存在着十分明显的优势。

摘要：目的探索基于多阅片者多病例研究设计的人工智能辅助医疗器械或软件进行确证性临床试验的病例和阅片者样本量的选择依据和方法。方法以某三甲医院收集的某胸部CT影像辅助诊断系统用于肺结节诊断的试验数据为例,采用R软件对数据进行方差分析和诊断准确度统计,以方差和协方差分析的结果为依据对计划开展的正式试验样本量进行估算,同时探索分析不同参数组合条件下的样本量变化情况。结果7名具有不同胸部CT阅片经验的影像科医生对回顾性纳入的200例病例影像分别在AI辅助条件和无AI辅助条件下进行读片,采用AI辅助医生读片的诊断准确性优于医生独立读片的准确性[AF-ROC差值0.119(95%CI:0.078,0.161),P<0.001],不同阅片者提高的准确度水平不同。同一阅片者分别在两种诊断模式下诊断结果的相关系数越大,需要病例样本量越小;相同阅片模式下不同阅片者间诊断结果的相关系数和不同阅片者在不同诊断模式间诊断结果的相关系数的差值越大,需要的病例样本量越大。结论基于多阅片者多病例研究设计的人工智能或机器学习辅助医疗类的器械或软件的确证性临床试验中采用多阅片者会适当减低病例的样本量,采用合适的统计学方法可以对阅片者和病例的样本量进行科学的估算。

摘要：目的探索MRMC方差分析方法对多阅片者多病例(MRMC)研究设计的数据结果处理的统计效能,并与传统ROC曲线分析法比较,为分析该类数据选择合适的统计方法提供依据。方法采集经金标准诊断为良性和恶性乳腺肿瘤患者96例,由12名有代表性的阅片者认读两种不同诊断技术(2D和3D断层成像)下的影像图片,分别采用MRMC方差分析和传统ROC曲线分析法对两种诊断技术的读片数据进行统计分析;MRMC方差分析应用SAS 9.2软件,结合MRMC_DBM程序实现;传统ROC曲线分析应用软件ROCKITβ0.8进行参数估计。结果经12名阅片者对46例良性患者(2例缺失)和48例恶性患者的读片结果比较,3D断层成像技术的诊断一致率(72.87%)明显高于常规2D成像技术(62.59%),其中阳性一致率分别为71.01%和65.45%,阴性一致率分别为69.38%和59.60%;利用MRMC方差分析方法可以分别估计并比较两种诊断技术的ROC曲线下面积(2D:0.7505,3D:0.8500),另外还能同时考虑不同水平阅片者读片可能产生的偏倚并将其量化,估计各种随机效应的方差分量大小(σ_r^2=0.0009,σ_p^2=0.0953,σ_(tr)~2=0.0001,σ_(tp)~2=0.0185,σ_(rp)~2=0.0405,σ_(trp)~2=0.1212,总随机误差为0.2765);而采用传统ROC曲线分析法仅可得到两种诊断技术的ROC曲线下面积(2D:0.7368,3D:0.8328)。结论 MRMC方差分析方法较传统ROC曲线分析法更适合用于分析影像诊断试验中多阅片者多病例研究设计的统计数据,前者不仅可比较影像诊断试验中诊断技术的准确性大小,而且还可以对诊断技术和诊断者的可靠性作出评价。

摘要：深度学习辅助医疗产品确证性临床试验的主要评价目标是辅助临床医疗的诊断准确性和安全性,多阅片者多病例(MRMC)的研究设计是评价或比较不同辅助医疗产品软件诊断性能的一种方法,可有效地避免或减少临床评价过程中因读片医生经验或资历水平等不同以及使用场景等各种差异而产生的偏倚,从而更加客观的评价试验结果。本文基于MRMC设计的特点,探讨了深度学习辅助医疗产品的临床试验设计和方法学思考要点,如对选择对照、目标疾病诊断金标准、临床试验类型和评价指标的考虑;对检验假设建立、病例和阅片者样本量、病例和阅片者的代表性、阅片过程随机化及对阅片者培训等的考虑;对临床试验过程中可能产生的各种偏倚的考虑。同时,提出了目前仍面临的问题和难点。建议申办方多与方法学专家和监管部门沟通,以期为临床试验科学、完善、合理的设计和执行提供参考。