作者投稿
专家审稿
编辑办公
邮件订阅
RSS
Application of Delphi Method in the Development and Revision of Clinical Practice Guidelines of Traditional Chinese Medicine: Process and Suggestions
-
摘要: 在临床实践指南的制订和修订过程中, 共识法是确定临床问题和形成推荐意见的重要方法, 其中以德尔菲法和改良德尔菲法最为常见。为此, 如何科学、规范地应用德尔菲法达成共识(如专家组人员选择、流程设计等)已成为当下亟待研究的重要问题。应用德尔菲法的过程中, 需借鉴国际上较为成熟的方法学建议, 以使共识形成过程结构化、透明化。本文以德尔菲法在中医药临床实践指南制订和修订中的应用为切入点, 阐述其基本流程和关键要素。在德尔菲法主体方面详细阐述了共识组的人数及构成、选取标准及途径、患者参与共识的方式和要点, 在技术要点方面对其匿名性、达成共识的阈值、时间把控进行了阐释, 进而指出德尔菲法应用的局限性及报告要点, 以期促进德尔菲法在指南制订中的规范应用。Abstract: In the process of developing clinical practice guidelines, consensus method is essential to determine clinical problems and recommendations, among which Delphi method and modified Delphi method are the most common. Therefore, scientific and standardized application of Delphi method to reach a consensus (such as expert selection, process design) has become an important topic in urgent need of study. In the process of using Delphi method, it is necessary to refer to mature methodological suggestions to make theconsensus process structured and transparent. This article focuses on the key elements of Delphi method in the development of clinical practice guidelines, and elaborates its basic methods and processes, including the number, composition, standards and selection methods of the "expert group", as well as the key points of patients' participation. In terms of technical points, anonymity, consensus threshold and time control are described. Furthermore, the limitations of Delphi method and the highlights of the report are presented, in order to promote the standardized application of Delphi method in the development of the guidelines.
-
近年来，真菌感染发生率和死亡率呈逐渐上升趋势，全球每年因真菌感染导致约150万人死亡，对人类的生命健康造成了严重威胁[1]。大量临床研究证实，早期诊断可显著提高真菌感染的治疗效果，极大程度上改善临床转归[2]，但目前真菌感染的早期诊断仍存在诸多挑战，主要包括两个方面：(1)真菌种类繁多，部分真菌感染缺乏可辨识的组织学特征和特异的临床与影像学表现，易被误诊；(2)真菌感染诊断的准确性很大程度上受医师工作经验和主观因素的影响。因此，亟需探寻可对多种真菌实现自动分类的新型诊断方法。
深度学习可通过端到端的学习方式，自动提取图像中的特征，实现图像分类，其在医学影像领域的应用已取得长足进步[3-4]。目前已有多位学者探究了深度学习在真菌、细菌、病毒等微生物领域中的应用价值，发现通过深度学习网络可实现环境中微生物图像分割、菌种分类、细菌计数，且具有较高的准确性[5-8]。关于真菌图像分类模型，亦有相关研究报道[9-13]，但既往模型存在运行时间较长，对菌种的识别较单一等多方面局限。曲霉菌属、酵母菌属和新型隐球菌作为临床最常见的侵袭性真菌，是引起人类真菌感染的主要病原体之一，其通过肉眼难以鉴别，早期诊断困难。本研究基于深度学习网络，尝试建立一种可对曲霉菌属、酵母菌属和新型隐球菌属共11种真菌图像自动分类的智能诊断方法，以提高真菌感染诊断的工作效率，减少误诊。
1. 材料与方法
1.1 图像来源
回顾性收集2020年9月—2021年4月解放军总医院第八医学中心真菌感染者的显微镜图像。纳入标准：病原体经全自动微生物质谱检测系统鉴定为曲霉菌属或法国梅里埃VITEK 2-Compact全自动微生物鉴定系统鉴定为酵母菌属和新型隐球菌属。排除标准：图像质量不合格。
所有图像均由2名经验丰富且经统一培训的检验科专业人员采用微生物鉴定技术进行标注，经图像预处理后按7∶1.5∶1.5的比例随机分为训练集、验证集和测试集，分别用于模型训练、参数调试及分类效果评价。
本研究经解放军总医院第八医学中心伦理审查委员会审议，免除伦理审查，并豁免患者知情同意。
1.2 研究方法
1.2.1 图像采集
取真菌感染标本(尿液、痰液、肺泡灌洗液、分泌物、脑脊液)约2 μL，实验室培养48 h后进行革兰氏染色。采用分辨率为1800万像素的佳能600 D相机(搭配目镜为×10，物镜为×100的显微镜)进行图像采集。
1.2.2 图像预处理
由于原始图像常包含气泡、污渍、杂菌等干扰信息，背景复杂，需进行图像预处理。首先采用中值滤波法去除图像中的噪声(图 1)，然后采用最大类间方差法[14]对真菌图像进行分割，以去除杂质并完整提取图像的边缘信息[15]。图像预处理后，采用随机中心裁剪及随机翻转、旋转、缩放、颜色抖动等方式进行数据增强，从而在一定程度上避免模型过拟合和数据不平衡问题，增强模型的鲁棒性。
1.2.3 模型构建与性能评价
真菌显微图像分类存在如下难点：(1)部分真菌图像(如酵母菌属)真菌部分占比极小，大部分图像区域为背景。(2)不同菌种的真菌形态大小差异较大，如酵母菌属的尺寸一般很小，而曲霉菌属的尺寸相对较大。此种尺寸差异要求网络结构的感受野一方面需足够大(可关注尺寸大的目标)，另一方面也需足够小(可捕获尺寸小的目标)，导致单个卷积神经网络(convolutional neural network, CNN)模型的性能不佳。为了更好地完成真菌显微图像分类任务，本研究对经典MobileNetV2网络结构[16]进行了改进(图 2)。MobileNetV2由谷歌团队首次提出，为一种轻量级CNN模型，在保证模型识别精度不降低的前提下可减少模型的复杂程度和计算时间，其在ImageNet[17]数据集上的性能表现优异。
针对真菌分类的第一个难点，本研究在经典MobileNetV2中加入Squeeze-and-Excitation(SE)[18]模块。其为一种轻量级注意力机制，可针对特征图(Feature Map)中不同通道(Channel)之间的关系进行高效建模，以增强网络模块的特征表达能力。SE模块包括Squeeze操作和Excitation操作。前者可顺着空间维度进行图像特征压缩，将每个二维特征通道转变为一个实数，具有全局的感受野，且输出的维度等于输入的特征通道数；后者可对每个通道的重要性进行预测，得到不同权重的通道后再加权至特征图的对应通道上。目的是通过对每个通道的重要程度进行加权，增强有用的特征信息，抑制无用的特征信息，使得网络结构可针对真菌所在区域的相关特征进行学习，提高模型对尺寸较小菌种的识别精度。
针对第二个难点，本研究在经典MobileNetV2中引入具有空洞卷积(dilated convolution)功能[19]的SE模块(即Dilated SE)。Dilated SE中的空洞卷积引入了“扩张率”，该超参数可规定卷积核处理数据时各数值之间的距离，使得空洞卷积在不增加运算成本的条件下，增大网络的感受野。感受野越大，其接触的原始图像范围越大，信息越全面，对尺寸较大目标的检测效果越好；感受野越小，其对应的特征更为局部和细节，对尺寸较小目标的识别效果越好。具体运行时，该模块构造出3个空洞卷积，扩张率(数值越大，对应的感受野越大)分别为3、6和9，然后将各自输出的特征图相连接、融合，输入至下一个卷积层，以保证获取的特征向量既可关注全局信息也识别局部的细节信息(图 3)。
由于真菌图像的尺寸不一，模型构建前将其调整为512×512像素的图像，并于每张图像中心处裁剪出像素为448×448的单张图像，获得最终模型的输入数据集。基于训练集图像，采用5种经典的CNN网络(ResNet18[20]、MobileNetV2、SENet、DenseNet121[21]、Inception V3[22])和改进的MobileNetV2网络构建真菌图像11分类模型。模型训练过程中，采用交叉熵(cross entropy)函数为损失函数，随机梯度下降(stochastic gradient descent，SGD)为优化策略，并采用余弦退火(cosine annealing)策略[23]动态调整学习率。采用3折交叉验证法进行模型评估。为避免模型过拟合现象，提高模型的准确性和泛化性，采用迁移学习法[24]将在ImageNet数据集预训练获取的模型参数作为真菌分类模型的初始化参数，在真菌分类任务中对模型进行微调。采用验证集数据对模型的分类效果进行测试，并选取每种网络结构分类效果最好的模型，于测试集中进行评价，取3次测试时各指标的均值为最终结果。模型训练和评价均在2块NVIDIA GeForce RTX 3090显卡上进行。
1.3 评价指标
以机器鉴定结果为金标准，以查准率(precision)、召回率(recall)和F1值评估改进的MobileNetV2模型对11种真菌的分类性能，并采用混淆矩阵展示模型对各真菌图像分类结果与真实类别的误差。查准率用于评估模型分类结果的准确性；召回率用以评估模型对每个真菌类别正确识别的比例；F1值为综合评价指标，其数值越高表示模型的性能越好。以模型参数量、内存占用量、网络每秒处理的图像数量(frames per second, FPS)、准确率及受试者操作特征(receiver operating characteristic, ROC)曲线下面积(area under the curve，AUC)为评价指标，比较5种网络结构和改进的MobileNetV2模型的性能，其中参数量、内存占用量越低表示模型计算量越少、运算成本越低，FPS越高表示模型的运算速度越快，准确性、AUC越高表示模型的分类性能越好。
1.4 可视化展示
针对真菌图像识别的可解释性问题，本研究在训练后的模型中加入了梯度加权类激活映射(gradient-weighted class activation mapping，Grad-CAM)[25]。Grad-CAM可在不改变模型架构的情况下对模型的表现能力进行解释。其基于目标的梯度信息，可在最后一个卷积层中生成定位图谱，突出显示在图像分类任务过程中起关键作用的区域所在的大致范围，即对真菌分类相关的重要区域进行可视化展示，结果以类激活热力图的形式展现。
1.5 统计学处理
采用Python 3.9.0软件进行统计学分析，并输出模型分类结果的混淆矩阵。查准率、召回率、F1值等计量资料以均数±标准差的形式表示。
2. 结果
2.1 真菌显微镜图像数据集
共纳入真菌显微镜图像7666张，分别包括曲霉菌属、酵母菌属和新型隐球菌属图像2781张、4115张、770张。其中训练集5366张、验证集1150张、测试集1150张。
曲霉菌属中，包括烟曲霉菌(954张)、杂色曲霉菌(927张)和黑曲霉菌(900张)；酵母菌属中，包括解脂假丝酵母菌(903张)、近平滑念珠菌(899张)、葡萄芽菌(897张)、季也蒙念珠菌(854张)、克柔念珠菌(228张)、光滑念珠菌(182张)和热带念珠菌(152张)；新型隐球菌属中，均为新型隐球菌。11种真菌显微镜图像见图 4。
2.2 改进的MobileNetV2模型性能评估
改进的MobileNetV2模型对11种真菌图像具有较高的分类性能：查准率为96.36%~100%，其中识别黑曲霉菌、克柔念珠菌、新型隐球菌的查准率均为100%；召回率为96.53%~100%，其中识别的解脂假丝酵母菌和克柔念珠菌的召回率均为100%；F1值为97.01%~100%，其中识别克柔念珠菌的F1值达100%(表 1)。混淆矩阵提示，模型识别错误的菌种多位于同一菌属间，如部分烟曲霉菌和黑曲霉菌图像被模型误识别为杂色曲霉菌图像(图 5)。
表 1 改进的MobileNetV2真菌分类模型在测试集中的表现(x±s，%)菌种 查准率 召回率 F1值 烟曲霉菌 99.77±0.16 98.95±0.29 99.36±0.08 杂色曲霉菌 96.41±0.62 99.77±0.16 98.06±0.25 黑曲霉菌 100±0 97.16±0.63 98.56±0.32 解脂假丝酵母菌 99.63±0 100±0 99.81±0 近平滑念珠菌 96.36±0.51 97.90±0.46 97.12±0.46 葡萄芽菌 97.50±0.70 96.53±0.17 97.01±0.40 季也蒙念珠菌 99.87±0.18 99.35±0.49 99.61±0.16 克柔念珠菌 100±0 100±0 100±0 光滑念珠菌 99.39±0.86 96.97±1.71 98.15±0.77 热带念珠菌 96.53±1.87 99.28±1.02 97.86±0.85 新型隐球菌 100±0 99.57±0 99.78±0 2.3 不同模型的性能比较
5种经典CNN模型和改进的MobileNetV2模型的性能比较结果见表 2。本研究主要以评价模型运算速度的FPS及衡量模型精度的准确率为主要观察指标，结果显示改进的MobileNetV2真菌分类模型的FPS为573，准确率为(99.09±0.18)%，综合性能最优。
表 2 不同分类模型在测试集中的运行结果指标 参数量(M) 内存占用量(M) FPS 准确率(x±s，%) AUC(x±s) ResNet18 11.18 252.44 527 98.83±0.16 0.9935±0.0008 MobileNetV2 2.24 603.82 501 98.68±0.12 0.9928±0.0006 SENet 0.74 292.24 562 97.78±1.70 0.9878±0.0032 DenseNet121 6.97 1341.44 177 98.81±0.27 0.9939±0.0011 Inception V3 21.81 468.05 105 98.84±0.11 0.9948±0.0007 改进的MobileNetV2 4.22 356.89 573 99.09±0.18 0.9944±0.0018 FPS：网络每秒处理的图像数量；AUC：曲线下面积 2.4 结果可视化
为增加模型分类结果的可解释性，本研究通过Grad-CAM输出对真菌图像分类起关键作用的区域的定位信息，即类激活热力图(图 6，受篇幅限制，仅对部分真菌进行展示)。模型对光滑念珠菌、葡萄芽菌、新型隐球菌、烟曲霉和杂色曲霉图像关注度较高的信息均位于菌体所在的区域，与此不同的是，黑曲霉菌的类激活热力图中，热点区域主要集中在菌体边缘外围区域，提示该区域的特征对黑曲霉菌的识别较为重要，为指导医学检验人员识别黑曲霉菌图像提供了新的思路。
![]()
图 6 部分真菌原始显微镜图像和类激活热力图A.光滑念珠菌；B.葡萄芽菌；C.新型隐球菌；D.黑曲霉菌；E.烟曲霉菌；F.杂色曲霉菌
(1)原始显微镜图像；(2)类激活热力图，颜色越趋于红色，表示该区域受网络结构的关注度越高3. 讨论
本研究基于深度学习技术提出了改进的MobileNetV2网络结构，并构建真菌图像11分类模型，结果显示该模型对11种真菌图像的分类准确率为99.09%，其整体性能优于5种经典CNN模型。
医学图像可为疾病的诊断、治疗、预后提供多方面信息支持，特别是真菌图像，在疾病诊断与菌种鉴别中发挥极其重要的作用。临床工作中，人工对真菌图像进行阅片存在工作量大、耗时长、结果易受主观因素影响的局限性。随着人工智能技术的高速发展，为真菌图像分类提供了新路径。早期研究中，多为通过人工提取特征与传统机器学习相结合的方式进行图像分类，但其对技术人员的专业技能要求较高，且人工提取图像中的信息特征耗时较久；另一方面，该分析方法对图像质量要求较高，难以处理背景复杂的真菌图像，模型的鲁棒性差。深度学习技术尤其CNN可自动学习图像的深度特征，避免了人工提取图像特征的复杂性和局限性，真正实现了真菌图像自动分类。Mital等[26]采用预训练的深度学习模型对9种曲霉菌进行分类，模型的分类准确率为93.33%。Billones等[27]基于4545张显微镜图像进行机器学习，建立了一种可对曲霉菌进行分类的CNN模型，经验证准确率达94.31%。Zawadzki[28]采用ResNet50和Xception模型对多种真菌和细菌图像进行分类，准确率超过95%，再次验证了深度学习在真菌图像分类中的有效性。但上述模型多为常用的经典网络模型，未根据真菌图像的特点进行模型改进，图像分类性能未达最优。
本研究针对真菌显微图像背景复杂、真菌形态相似、尺寸多样性的特性，提出一种多尺度注意力机制的真菌图像识别模型。首先进行图像预处理，去除背景中的噪声、杂质，然后通过随机裁剪、翻转、旋转等方式进行数据扩增，以防止模型过拟合。为解决目前真菌图像分类中的难点问题，本研究引入了注意力机制，对经典网络结构MobileNetV2进行两方面改进：(1)通过SE模块增加网络结构的表达能力，提高模型对尺寸较小菌种的识别能力；(2) 通过Dilated SE提高网络结构的感受野，使得模型既可关注全局信息也可捕获局部信息。因此，改进的MobileNetV2模型在不增加运算成本的前提下，对不同尺寸的真菌图像均有较高的识别精度。基于测试集数据，本研究对该模型的性能进行评价，结果显示模型识别11种真菌图像的查准率、召回率以及F1值均大于95%，其中识别克柔念珠菌的查准率、召回率、F1值均为100%，提示改进的MobileNetV2真菌分类模型对11种真菌均具有较高的分类性能。进一步将该模型与5种经典CNN模型进行比较，以筛选最优的真菌图像分类模型，结果显示与5种经典模型比较，改进的MobileNetV2模型的参数量、内存占用量均较低，FPS、准确率均最高，提示该模型在运算成本均相对较低的情况下，对真菌分类达到了较快的运算速度和较高的准确性，综合性能最优。
为进一步验证该模型的临床应用前景。本研究后续抽取了测试集中的曲霉菌属图像(酵母菌属和新型隐球菌仅靠肉眼无法明确诊断)，盲化处理后由专业临床医师进行分类判读，结果显示临床医师识别黑曲霉菌、烟曲霉菌、杂色曲霉菌的准确率分别为100%、89.02%、87.5%，提示此模型对真菌分类的整体准确率优于专业临床医师。
此外，本研究通过Grad-CAM对模型识别结果进行了可视化展示。类激活热图可输出有助于真菌图像分类的热点区域，一方面进一步验证了模型的有效性，另一方面为实验室人工进行真菌图像分类提供了线索。
本研究局限性：(1)收集的真菌图像均来源于解放军总医院第八医学中心，缺少多中心数据集对模型进行外部验证。(2)采用深度学习方法对真菌图像进行分类，仍需人工对真菌图像进行标注。(3) 自然界存在的真菌约200万种，其中能引起人类感染者约560种。本研究纳入的真菌图像仅包括曲霉菌属、酵母菌属和新型隐球菌属3个属共11种，模型的性能仍需纳入更多菌种进一步验证。
综上，传统真菌感染的诊断一般是样本采集后进行实验室生化鉴定，耗时较长且相关设备价格昂贵。本研究基于深度学习技术构建的真菌显微图像分类方法，一方面可快速对菌种进行分类，辅助临床诊断，加快诊疗进程，有助于改善患者预后[29]；另一方面可减轻实验人员的工作负担，提高诊断效率。
作者贡献：梁昌昊负责查阅资料、撰写论文；尹冠翔、王雅琪、刘思岐负责查阅资料、修订论文；高一城、刘鹏伟、苏祥飞负责论文初稿修订；费宇彤负责指导论文写作及审校。利益冲突：所有作者均声明不存在利益冲突 -
表 2 判断标准的量化
判断标准 对该领域的信心 高 中 低 理论分析 0.30 0.20 0.10 实践经验 0.45 0.35 0.20 国内外参考文献 0.20 0.15 0.10 本能选择 0.05 0.05 0.05 
下载: 导出CSV
-
[1] Dalkey N. An experimental study of group opinion: The Delphi method[J]. Futures, 1969, 1: 408-426. DOI: 10.1016/S0016-3287(69)80025-X
[2] Black N, Murphy M, Lamping D, et al. Consensus development methods: a review of best practice in creating clinical guidelines[J]. J Health Serv Res Policy, 1999, 4: 236-248. DOI: 10.1177/135581969900400410
[3] Fink A, Kosecoff J, Chassin M, et al. Consensus methods: characteristics and guidelines for use[J]. Am J Public Health, 1984, 74: 979-983. DOI: 10.2105/AJPH.74.9.979
[4] Nair R, Aggarwal R, Khanna D. Methods of formal consensus in classification/diagnostic criteria and guideline development[J]. Semin Arthritis Rheum, 2011, 41: 95-105. DOI: 10.1016/j.semarthrit.2010.12.001
[5] Steurer J. The Delphi method: an efficient procedure to generate knowledge[J]. Skeletal Radiol, 2011, 40: 959-961. DOI: 10.1007/s00256-011-1145-z
[6] 梁昌昊, 夏如玉, 黄子玮, 等. 共识法在中医临床实践指南及专家共识中的应用及方法学报告特征分析[J]. 中医杂志, 2022, 63: 26-34. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZYZ202201008.htm [7] Diamond IR, Grant RC, Feldman BM, et al. Defining consensus: a systematic review recommends methodologic criteria for reporting of Delphi studies[J]. J Clin Epidemiol, 2014, 67: 401-409. DOI: 10.1016/j.jclinepi.2013.12.002
[8] Sandford BA, Hsu CC. The Delphi Technique: Making Sense of Consensus[J]. Pract Assess Res Evaluation, 2007, 26: 289-304.
[9] Keeney S, Hasson F, Mckenna H. Consulting the oracle: ten lessons from using the Delphi technique in nursing research[J]. J Adv Nurs, 2010, 53: 2.
[10] Gaakeer MI, Veugelers R, Patka P, et al. On behalf of the Dutch ED Study Group. Minimum operational standards for 24/7 available emergency departments in the Nether-lands: a first step taken by emergency physicians using an e-Delphi approach[J]. Eur J Emerg Med, 2019, 26: 86-93. DOI: 10.1097/MEJ.0000000000000494
[11] 曾照云, 程晓康. 德尔菲法应用研究中存在的问题分析: 基于38种CSSCI(2014—2015)来源期刊[J]. 图书情报工作, 2016, 60: 116-120. https://www.cnki.com.cn/Article/CJFDTOTAL-TSQB201616020.htm [12] Mckenna H, Keeney S, Hasson F. The Delphi Technique in Nursing and Health Research[M]. New Jersey: John Wiley & Sons Ltd, 2011: 1-17.
[13] 廖星, 谢雁鸣, 张俊华, 等. 中医临床实践指南制修订中专家共识技术规范[J]. 中国中药杂志, 2019, 44: 4354-4359. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGZY201920034.htm [14] McMillan SS, King M, Tully MP. How to use the nominal group and Delphi techniques[J]. Int J Clin Pharm, 2016, 38: 655-662.
[15] McKenna HP. The Delphi technique: a worthwhile research approach for nursing?[J]. J Adv Nurs, 1994, 19: 1221-1225. DOI: 10.1111/j.1365-2648.1994.tb01207.x
[16] Wolf R. The decision Delphi[J]. Technol Forecast Soc Change, 1979, 15: 159-169. DOI: 10.1016/0040-1625(79)90011-8
[17] Crisp J, Pelletier D, Duffield C, et al. The Delphi method?[J]. Nurs Res, 1997, 46: 116-118. DOI: 10.1097/00006199-199703000-00010
[18] Beretta R. A critical review of the Delphi technique[J]. Nurse Res, 1996, 3: 79-89. DOI: 10.7748/nr.3.4.79.s8
[19] Dean P, Schumacher D, Florin TA. Defining Pneumonia Severity in Children: A Delphi Study[J]. Pediatr Emerg Care, 2021, 37: e1482-e1490. DOI: 10.1097/PEC.0000000000002088
[20] Jordans IPM, de Leeuw RA, Stegwee SI, et al. Sono-graphic examination of uterine niche in non-pregnant women: a modified Delphi procedure[J]. Ultrasound Obstet Gynecol, 2019, 53: 107-115. DOI: 10.1002/uog.19049
[21] Gordon T, Pease A. RT Delphi: An efficient, "round-less" almost real time Delphi method[J]. Technol Forecast Soc Change, 2006, 73: 321-333. DOI: 10.1016/j.techfore.2005.09.005
[22] Varndell W, Fry M, Elliott D. Applying real-time Delphi methods: development of a pain management survey in emergency nursing[J]. BMC Nurs, 2021, 20: 149. DOI: 10.1186/s12912-021-00661-9
[23] Guyatt GH, Oxman AD, Kunz R, et al. Going from evidence to recommendations[J]. BMJ, 2008, 336: 1049-1051. DOI: 10.1136/bmj.39493.646875.AE
[24] Moberg J, Oxman AD, Rosenbaum S, et al. The GRADE Evidence to Decision (EtD) framework for health system and public health decisions[J]. Health Res Policy Syst, 2018, 16: 45. DOI: 10.1186/s12961-018-0320-2
[25] Guyatt G, Oxman AD, Akl EA, et al. GRADE guide-lines: 1. Introduction-GRADE evidence profiles and summary of findings tables[J]. J Clin Epidemiol, 2011, 64: 383-394. DOI: 10.1016/j.jclinepi.2010.04.026
[26] WHO. Handbook for Guideline Development[EB/OL]. (2014-12-08)[2023-05-28]. https://www.who.int/publications/i/item/9789241548960.
[27] 胡晶, 张会娜, 康群甫, 等. 共识法在中医临床实践指南制定中的应用[J]. 中医杂志, 2016, 57: 1658-1661. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZYZ201619010.htm [28] Goodman CM. The Delphi technique: a critique[J]. J Adv Nurs, 2010, 12: 729-734.
[29] Ishikawa A, Amagasa M, Shiga T, et al. The max-min Delphi method and fuzzy Delphi method via fuzzy integration[J]. Fuzzy Sets Syst, 1993, 55: 241-253. DOI: 10.1016/0165-0114(93)90251-C
[30] NICE. Developing Nice Guidelines the Manual[EB/OL]. (2014-10-31)[2023-05-28]. https://www.nice.org.uk/process/pmg20/chapter/introduction.
[31] 周芬. 患者及公众参与临床实践指南构建及其方法的研究进展[J]. 护理学报, 2020, 27: 14-17. https://www.cnki.com.cn/Article/CJFDTOTAL-NFHL202005006.htm [32] Roman BR, Feingold J. Patient-centered Guideline Develop-ment Best Practices Can Improve the Quality and Impact of Guidelines[J]. Otolaryngol Head Neck Surg, 2014, 151: 530-532. DOI: 10.1177/0194599814544878
[33] 靳英辉, 王丹琦, 李艳, 等. 临床实践指南制定方法: 国内外临床实践指南制定手册概要[J]. 中国循证心血管医学杂志, 2018, 10: 1-10. https://www.cnki.com.cn/Article/CJFDTOTAL-PZXX201801001.htm [34] 解染, 陈耀龙, 陈昊, 等. 循证指南制定中患者价值观和偏好的研究方法[J]. 中国循证医学杂志, 2015, 15: 586-591. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ201505015.htm [35] 宁允, 李文姣, 程侣, 等. 患者及公众参与患者指南制定的思考[J]. 中国循证心血管医学杂志, 2020, 12: 908-911. https://www.cnki.com.cn/Article/CJFDTOTAL-PZXX202008004.htm [36] 张颖, 季聪华, 李秋爽, 等. 中医临床实践指南制修订中德尔菲法的统计分析方法[J]. 中华中医药杂志, 2018, 33: 249-251. https://www.cnki.com.cn/Article/CJFDTOTAL-BXYY201801064.htm [37] 付红艳. 关于变异系数、偏度系数和峰度系数的U统计量检验法[D]. 长春: 吉林师范大学, 2014. [38] Dai F, Wei K, Chen Y, et al. Construction of an index system for qualitative evaluation of undergraduate nursing students innovative ability: A Delphi study[J]. J Clin Nurs, 2019, 28: 4379-4388.
[39] Li Y, Ehiri J, Hu D, et al. Framework of behavioral indicators for outcome evaluation of TB health promotion: a Delphi study of TB suspects and Tb patients[J]. BMC Infect Dis, 2014, 14: 268.
[40] 刘弘. 关于痛经辨证分型的专家问卷分析[J]. 中医杂志, 2008, 49: 984-985. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZYZ200811010.htm [41] Green P. The Outdoor Leadership Handbook. A Manual for Leaders of Land-based Outdoor Pursuits in the Pacific Northwest[M]. Tacoma: Emergency Response Institute, 1982: 7-14.
[42] Chen L, Wu Y, Wang S, et al. Construction of evidence-based practice competencies for nurses in China: A modified Delphi study[J]. Nurse Educ Today, 2021, 102: 104927.
[43] Hasson F, Keeney S, McKenna H. Research guidelines for the Delphi survey technique[J]. J Adv Nurs, 2000, 32: 1008-1015.
[44] Martino JP. The Delphi method: Techniques and applica-tions[J]. Technol Forecast Soc Change, 1976, 8: 441-442.
[45] Sandrey MA, Bulger SM. The Delphi Method: An App-roach for Facilitating Evidence Based Practice in Athletic Training[J]. Athl Train Educ J, 2008, 3: 135-142.
[46] 李博, 任晨儿, 刘阳. 辨证与厘清: 体育科学研究中"德尔菲法"应用存在的问题及程序规范[J]. 体育科学, 2021, 41: 89-97. https://www.cnki.com.cn/Article/CJFDTOTAL-TYKX202101011.htm [47] 管慧, 戴国华, 高武霖, 等. 中医药临床研究中应用德尔菲法的系统评价[J]. 中国循证医学杂志, 2021, 21: 186-190. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ202102009.htm [48] Jünger S, Payne SA, Brine J, et al. Guidance on Conducting and REporting DElphi Studies (CREDES) in palliative care: Recommendations based on a methodological syste-matic review[J]. Palliat Med, 2017, 31: 684-706.
[49] O'Connor N, Clark S. Beware bandwagons! The bandwagon phenomenon in medicine, psychiatry and management[J]. Australas Psychiatry, 2019, 27: 603-606.
-
期刊类型引用(21)
1. 王建新，孙明月，吕行，郭曼萍，代欣玥，杨巧宁，申春悌，元唯安，王天芳，连凤梅，刘树林，张磊，谢雁鸣，王忠，王保和，黄宇虹，刘文娜，高蕊. 中医证候疗效评价量表研制指南. 中国新药杂志. 2025(02): 113-122 . 
百度学术
2. 唐晓颇，姜泉. 基于临床需求的干燥综合征诊疗体系构建与示范应用. 中国中医基础医学杂志. 2025(02): 231-235 . 百度学术
3. 杨一玖，张海力，刘斌，梁宁，李慧珍，宋填，曹文杰，胡紫腾，马厚芳，王燕平，韩晟，史楠楠. 中成药特征价格变量指标体系构建研究. 中国卫生经济. 2025(02): 18-23 . 百度学术
4. 薛飞飞，郝闻致，陈家旭. 层次分析法在中医证候标准化研究的应用探讨. 中华中医药杂志. 2025(01): 271-274 . 百度学术
5. 刘誉，张鹏，尚俊杰. 基于德尔菲法的教师学习科学素养框架构建研究. 现代教育技术. 2025(04): 91-101 . 百度学术
6. 潘轶竹，郭默宁，蒋锋，李晓虹，王明刚，肖存利. DRGs背景下基于改良德尔菲法的精神专科医院医疗绩效评价指标体系构建研究. 中国医疗管理科学. 2024(01): 105-111 . 百度学术
7. 刘晓雨，刘志华，李京璠，李润泽，王玉曼，薛滨清，张心千，杨倩，杜艳茹. 浊毒证诊断量表的研制与权重赋值——基于德尔菲法及层次分析法. 中医杂志. 2024(07): 684-690 . 百度学术
8. 胡卓慕，吴进，方玢茹，毛旭，郭莉萍，朱利明. 《中国叙事医学专家共识(2023)》的德尔菲法研究. 叙事医学. 2024(02): 105-112 . 百度学术
9. 黄栖，唐乐微，刘茹茹，林丹，黄佳丽，彭雯清，李一靖，陈燕燕，王毓琴. 基于德尔菲法初步构建急性前葡萄膜炎患者报告结局量表. 中华眼视光学与视觉科学杂志. 2024(07): 507-515 . 百度学术
10. 王雅琪，高一城，苏澄元，刘美君，李迅，费宇彤. 临床实践指南中临床问题结构化分级及评价. 中国循证医学杂志. 2024(07): 827-831 . 百度学术
11. 梁昌昊，尹丁冉，刘美君，尹冠翔，李迅，王雅琪，刘思岐，佟敏，刘鹏伟，苏祥飞，费宇彤. 中医药指南制订中共识法应用关键要素的定性研究. 协和医学杂志. 2024(04): 942-952 . 本站查看
12. 车前子，郭敬，佟琳，蔡秋杰，陈琳，李慧珍，张海力，郑丹平，胡明智，宋填，程翠翠，蒋寅，刘晨曦，胡妮娜，张华敏，史楠楠. 基于人用经验的中药新药临床定位研究策略与方法. 中国中医基础医学杂志. 2024(08): 1337-1340 . 百度学术
13. 赵越，李宵，薛朝军，白万军，董占军. 医疗机构静脉用药评价与遴选专家共识. 医药导报. 2024(09): 1369-1375 . 百度学术
14. 彭蓉晏，孙凌云，刘稼玺，庞英，王子旭，唐末，丁亚丛，梁昌昊，唐丽丽，杨宇飞. 基于改良德尔菲法构建《早中期结直肠癌根治术后中西医结合心理康复干预指南》临床问题. 中国中西医结合杂志. 2024(08): 912-920 . 百度学术
15. 马思成，张宸铭，唐硕彤，郝晓慧，刘稳榜，马瑞敏，胡静，王祖龙，孙自学. 中医药治疗精子DNA损伤的德尔菲研究. 中华男科学杂志. 2024(09): 854-860 . 百度学术
16. 周旋，方格，马庆宇，李晓娟，李永欣，胡志希，李先涛，陈家旭. 基于德尔菲法和层次分析法的气滞证诊断条目筛选及权重确定. 中医杂志. 2024(21): 2211-2216 . 百度学术
17. 吴雪，王文雅，廖星，王永炎. 中医药卫生技术评估实施规范的构建与内容介绍. 中国中药杂志. 2024(20): 5643-5651 . 百度学术
18. 孟庆莉，姜德春，李达，纪立伟，刘宪军，冀召帅，陶小妹，王海莲，于晓佳，贾自力，张景富，陈世财，顾红燕. 北京地区基层医疗机构药物治疗管理服务门诊工作实施评价体系构建——基于德尔菲法和层次分析法. 中国医院药学杂志. 2024(24): 2909-2914 . 百度学术
19. 中国医师协会外科医师分会肥胖代谢病综合管理与护理专家工作组，中国医师协会外科医师分会肥胖和代谢病外科专家工作组，中国肥胖代谢外科研究协作组. 肥胖代谢外科医学科普中国专家共识(2024版). 中华消化外科杂志. 2024(12): 1471-1478 . 百度学术
20. 张红银，朱红梅，张慧琴，姚宏文，朱桂荣，李琳. 云南省静脉用药调配中心工作人员细胞毒药物职业暴露及防护调查分析. 昆明医科大学学报. 2023(07): 105-112 . 百度学术
21. 张佳佳，杨超，杜世豪，陈晟，杜朔，赵吉平. 基于制定WFAS《女性尿失禁临床实践指南》探讨改良德尔菲法在针灸指南推荐意见研制过程中的应用价值. 中国针灸. 2023(12): 1449-1453 . 百度学术
其他类型引用(8)
计量
- 文章访问数: 890
- HTML全文浏览量: 134
- PDF下载量: 92
- 被引次数: 29
