正确理解和应用低质量证据形成指南推荐意见

史乾灵, 刘辉, 王子君, 罗旭飞, 王冰怡, 杨楠, 孟文勃, 陈耀龙

史乾灵, 刘辉, 王子君, 罗旭飞, 王冰怡, 杨楠, 孟文勃, 陈耀龙. 正确理解和应用低质量证据形成指南推荐意见[J]. 协和医学杂志, 2024, 15(3): 676-685. DOI: 10.12290/xhyxzz.2024-0278
引用本文: 史乾灵, 刘辉, 王子君, 罗旭飞, 王冰怡, 杨楠, 孟文勃, 陈耀龙. 正确理解和应用低质量证据形成指南推荐意见[J]. 协和医学杂志, 2024, 15(3): 676-685. DOI: 10.12290/xhyxzz.2024-0278
SHI Qianling, LIU Hui, WANG Zijun, LUO Xufei, WANG Bingyi, YANG Nan, MENG Wenbo, CHEN Yaolong. How to Correctly Understand and Use the Low-quality Evidence to Formulate Recommendations in Guidelines[J]. Medical Journal of Peking Union Medical College Hospital, 2024, 15(3): 676-685. DOI: 10.12290/xhyxzz.2024-0278
Citation: SHI Qianling, LIU Hui, WANG Zijun, LUO Xufei, WANG Bingyi, YANG Nan, MENG Wenbo, CHEN Yaolong. How to Correctly Understand and Use the Low-quality Evidence to Formulate Recommendations in Guidelines[J]. Medical Journal of Peking Union Medical College Hospital, 2024, 15(3): 676-685. DOI: 10.12290/xhyxzz.2024-0278

正确理解和应用低质量证据形成指南推荐意见

基金项目: 

中国医学科学院医学与健康科技创新工程-循证评价与指南研究创新单元 2021RU017

详细信息
    通讯作者:

    陈耀龙, E-mail: chevidence@lzu.edu.cn

    孟文勃, E-mail: mengwb@lzu.edu.cn

  • 中图分类号: R181.2

How to Correctly Understand and Use the Low-quality Evidence to Formulate Recommendations in Guidelines

Funds: 

CAMS Innovation Fund for Medical Sciences-Research Unit of Evidence-based Evaluation and Guidelines 2021RU017

More Information
  • 摘要:

    推荐意见是临床实践指南的核心。基于低质量证据作出强推荐意见是当前国内外指南普遍存在的现象。医务人员认为缺乏高质量的证据就无法制订高质量的指南或仅可制订专家共识是典型的误解。本文以GRADE分级系统为切入点, 阐述低质量证据的基本内涵和临床作用, 介绍基于低质量证据形成指南推荐意见的方法, 以期为我国指南制订者和使用者提供参考。

    Abstract:

    The essence of clinical practice guidelines lies in their recommendations. It is common to find strong recommendations supported by low-quality evidence in current published guidelines. There is a typical misunderstanding among medical professionals that without high-quality evidence, it is impossible to develop high-quality guidelines or only expert consensus can be developed. Based on the GRADE approach, this paper explains the concept and clinical significance of low-quality evidence, and introduces the methods for formulating recommendations based on low-quality evidence in guidelines, with the aim to provide reference for guideline developers and users in China.

  • 基于人工智能大模型和生成交互式智能技术(如ChatGPT等)的成功和迅速传播,又一次在全球范围激发了大众对于生成式人工智能和通用人工智能技术无限的想象[1]。正如黑格尔所言,“历史总是惊人地重演”,人们似乎已忘却7年前对于人工智能程序AlphaGo大胜人类围棋高手后的惊呼和期盼[2],对于ChatGPT的反应,依然遵循“我们从历史中学到的教训,就是没有从历史中学到教训。”

    当前人工智能技术取得的进展,对于医学医疗的影响究竟如何?6年前,因为对人工智能核心技术深度学习的贡献而获图灵奖的Hinton教授曾经预言[3]:“应停止培养放射科医生,在5年之内,深度学习将会比放射科医生做得更好”。而事实是:尽管深度学习相关研究已在近期取得了巨大进展,但“停止培养放射科医生”非但未能成为选项,还迫使我们必须加快加强培养更多更好的新型放射科医生。然而,我们不能掉以轻心,ChatGPT技术表明,当基础模型(foundation models)广泛应用时,将迫使各行各业发生巨大变革,特别是医学健康事业,我们必须准备好应对快速“相变”式的冲击。

    如何应对?对此已有较多专业性的讨论[4-13]。然而,笔者认为,面对现代医学的复杂性和智能技术的强力冲击,第一要务则是“变革思维”。若借用开创国家大规模资助科学研究的先驱Vannevar Bush科学散文[14]中的精神,即是“我们不再应对!我们自由畅想!”为此,本文基于著名科学哲学家波普尔关于现实组成的三个世界之本体论观点,讨论诸如ChatGPT之类技术对平行医生和平行医院的强力推动作用,探索智慧医学的“三个三”理念,即(1)三类医生:数字人医生、机器人医生、生物人医生;(2)三种模式:“上午(AM)”自主模式(autonomous modes)、“下午(PM)”平行模式(parallel modes)、“晚间(EM)”专家模式(expert modes)或应急模式(emergency modes);(3)三大技术:医学基础模型、医疗场景工程、医用操作系统,以期从根本上减轻医护人员的负担,特别是心理负担,深度发掘医患之间的人本共情,在强化传统医学医疗社会伦理和设施的同时,推动“患者拥有个性化和私人专属的数字医院”成为一项可行的普适技术。

    正如文献[15-17]所述,“借鉴波普尔的关于现实的三个世界之科学哲学观点,我们可细化人类对现实的认知。”在此基础上,应重新认识医用机器和医疗软件在医学中的作用,进而重塑医学科学过程,使之与时代的智能科技相适应。当务之急,应确立“三个世界,三类医生”的医学新框架,明确独立的数字人医生概念,协调其与机器人医生(如更先进的达芬奇式手术机器人)和生物人医生之间的关系,使ChatGPT开启的人工智能大模型技术以“小问题,大模型”方式在医学领域快速实施落地,从基于第一物理世界的医学之“专业分工”,基于第二心理世界的医学之“人机分工”,尽快迭代为基于第三人工世界的医学之“虚实分工”,如图 1所示。

    图  1  平行医学新框架:三个世界,三类医生

    换言之,由于ChatGPT的成立,“小问题、大模型”的新医学范式成为可能。为避免由于大模型的算力和软件的复杂性使人类医生无法主导甚至更加“劳累”,我们必须要求未来的医学软件系统以“数字人”的形式重新设计并组织流程,特别是人机交互流程。唯有如此,才可能迫使计算机、机器人及其软件以“生物人为本”,增加机器和软件的复杂性,减少人类的认知载荷与体力要求:人类医生只要以其日常熟知的与“人”相处的方式就可以与日益智能的医学系统交互,并有效地实现自己的目标,而无需掌握越来越多的功能选择,越来越复杂的操作要求。即智能医学系统必须对人类的操作要求越来越简单,对系统的功能要求越来越复杂。

    根据目前的技术发展趋势,未来每一个医学“小问题、大模型”就是一类数字人医生。如图 2所示,其数量应占医生数量的绝大多数,比如80%以上,而机器人医生和生物人医生应为少数,比如分别在15%和5%以下。因为未来社会一定是一个以服务器为技术基础设施的算力世界,无论使用与否,这些服务器都在耗能。因此,必须使之成为大量数字人“居住并工作的世界”,加以充分利用,只有这样才能保障社会的可持续发展。而机器人与生物人在本质上耗能,加上考虑人性的要求,因此它们不应该成为中低层生产和服务的主体。

    图  2  平行医生= (数字人+机器人+生物人)医生

    这一新的认知将对未来的医学教育和医疗管理带来巨大冲击:我们将不可避免地像培养人类医生一样“培养”数字人医生,像管理人类医生一样“管理”数字人医生。换言之,我们必须变革目前的医学教育体系,使之数字化,使医用“AlphaGo”和“ChatGPT”之类的人工智能系统成为这些体系的标准组成,使人类的学习和数字人的学习交互进行、相辅相成,真正实现人在回路的强化学习模式。而且,就像人类医学生必须考试成功才能从业一样,数字人医生也必须通过各类医学场景工程的考核才可以被认证后使用,并可以再学习再使用,如同人类的继续教育或终身教育一样。虽然对于医院中数字人医生的使用管理,也存在与医学教育同样的情景与问题[18]

    由此,医学本身必须成为虚实互动的平行医学[19-22],ChatGPT已揭示了这是不可阻挡的技术发展趋势。如目前国际已兴起的“工业5.0”理念所表明的,医学也将从基于“工业4.0”的深度医疗理念[23]进入集人机物为一体的“Cyber-Physical-Social Systems(CPSS)”医学5.0(Medicine 5.0)时代[24-26]

    数字人医生的引入,可使医患之间的深度共情问题成为一个更加科学化的研究问题,未来的医学将进入一种新的范式。如有关数字人的个性设计和心理分析研究所表明的[27-28],数字人、机器人和生物人医生之间将形成一种平行互动的医疗流程,以提高医疗机构的整体水平和效率。

    最重要的是,数字人医生的引入,使平行医生的构建与应用成为可能。平行医生利用数字人、机器人和生物人医生之间的平行互动是未来医疗健康的一大趋势。机器人和数字人医生可以通过远程诊疗和医学图像识别等技术为患者提供更好的服务,而AI基础模型平台则可以帮助医生更好地处理和分析患者数据和信息,提高医疗保健机构的效率和准确性[29-31]。如图 3所示,利用数字人、机器人和生物人医生之间的平行互动和流程设计,未来智慧医疗将进入一种新的范式:

    图  3  智慧医疗的MAPeM新范式

    (1) “上午(AM)”模式,即医疗自主模式(autonomous modes for medical operations)。此时,人类医生的主要责任是监控与巡视,用于培训和预防万一。主要操作由机器人医生在数字人医生的辅助下完成,这种医疗模式应占全部医疗操作与流程的80%以上。如果这种模式无法完成任务,将进入下一模式。

    (2) “下午(PM)”模式,即医疗平行模式(parallel modes for medical operations)。此时,人类医生的主要责任是远程或云端遥控与指导,用于“上午”模式无法完成其任务的情景。主要操作由机器人医生在人类医生的指导和数字人医生的协助下完成,这种医疗模式应占全部医疗运作与流程的15%以下。如果这一模式成功完成任务,将返回“上午”模式,否则进入下一模式。

    (3)“晚间(EM)”模式,即医疗专家/应急模式(expert/emergency modes for medical operations)。此时,为了确保特殊任务或应对紧急情况,必须启用人类医学专家资源,并确保他们能像“快递”一般进入现场,完成任务,并撤离现场,然后回到“下午”模式进行观察,保证操作成功。这种“晚间”模式,应占全部医疗操作与流程的5%以下。

    我们称这三种医疗模式为智慧医疗新范式“MAPeM”,其目标是在大幅度减少人类医生体力与精神负担的前提下,进一步加强人类的医疗主导权,深化医患共情,大幅提高医疗效果,并使大规模个性化、人性化医疗可经济化运作。

    笔者认为,智能技术和智慧医疗必须以人为本,复杂先进的医疗系统不应让医生和患者的决策越来越复杂,而应越来越简洁;智能先进的医疗技术不是要求医生和患者的智力水平越来越高,而是越来越自然和一般。

    实施三类医生及其三种模式必须有相应的支撑体系,这就是通过物理上的实体医院与云端里的数字医院之间的虚实互动平行执行所构成的平行医院[22, 32-33],如图 4所示。在这里,数字医院并非一般意义上的医院数字化,而是以数字技术重构并由平行医生操作的独立医院,其与传统实体医院紧密相联,但不对其依附,主要由数字人和机器人医生管理和维护。

    图  4  平行医院示意图

    借用智能军事的术语,通过智能技术的应用,我们可以使平行医院达到“子虚之医,乌有之患,招之即来,挥之即去”的境地[34]:利用虚实资源和计算医学实验,在与疾病的斗争中,让医者“招之即来”,让病痛“挥之即去”,这是西方军事马赛克和认知战的核心和精髓。为此,需要利用人工智能构建面向医学医疗的三项新技术。

    医学基础模型:基础模型是目前最先进的人工智能模型之一,包括ChatGPT在内的各种生成式大模型[13]。基础模型通常使用Transformer[35]为主要网络结构,具有极高的语言模型表现力和智能度,不仅可以生成高质量的自然语言文本,还具备强大的问答、阅读理解等功能。医学基础模型可以通过处理医疗文本数据以支持医疗决策,例如应用于医疗问答系统,通过数据挖掘,分析患者病历中的症状、药品和疾病等信息,为患者提供诊断建议。当前,基础模型是机器学习的一种“子集”,但随着技术发展,其亦将逐渐向通用人工智能方向发展。通过平行学习[36-37]、深度学习和模型推理等技术的完善,基础模型可以应用于跨越多种医疗领域的任务,同时也为通用人工智能领域带来更多医疗创新思路。

    医疗场景工程:人工智能研发者已初步开发了最为流行的生成式基础模型,包括语言、视觉和业务等模型,如GPT、GPT-2、GPT-3、BERT、Turing NLG、VMoE、DALL·E、DreamFusion等。这促进了医疗基础模型的设计、调试和验证,需要在特定场景下进行任务细化。平行医生与平行医院所提出的医疗基础模型将在医疗场景工程中完成模型的校准和认证(C&C)、验证和确认(V&V)[38]。医疗场景工程通过提示工程(prompt engineering)技术,在医生介入较少的情况下自动推导出完成任务所需的医疗诊断提示,生成可解决特定疾病的基础模型和治疗方案。医疗场景工程的关键是如何使用少量人工标注的样本进行探索和学习,并通过对医学任务的样本数据进行学习和挖掘,为疾病诊疗提供指导,提高医疗机构的效率和准确性,同时降低医护人员的负担。医疗场景工程是智能技术和智能化医疗的新突破口,其结构化和有序化组织对于基础模型的发展至关重要,将进一步发展催生一系列变革性的医疗技术。

    医用操作系统:智能化医院是运用各种信息技术和智能设备提高医疗服务效率和质量,满足不同患者医疗需求的医院。构建智能化医院必需的关键技术支持包括医学基础模型和医疗场景工程,而医用操作系统则是实现智能化医院的重要关键技术之一。医用操作系统专为智能化医疗场景设计和开发,其特点是专业、规范、可靠和安全。与传统计算机操作系统不同,医用操作系统的设计和开发需考虑医疗信息的特殊性和隐私保护的要求,因此,区块链[39]、智能合约[40]和联邦智能[41]等也显得更为重要。医用操作系统广泛应用于各种医疗设备的控制、监测和管理中,如手术机器人、数字化医疗影像设备和生命支持设备等,通过联网和数据分析等技术手段,实现智能化设备的远程控制和监测,提升医疗设备的使用效率和管理效果,提高医疗服务的精准度和安全性。医用操作系统也能够通过智能化辅助诊断和决策支持功能,为医疗行业提供更为精准、快速、高效的诊疗服务。未来,医学基础模型、医疗场景工程和医用操作系统等技术将为医疗保健行业带来更多的机遇和挑战,需要更多的创新者和技术引领者来推动医疗保健行业发展,提升医生和患者的体验感和满意度,解决各种技术和安全问题,以推动医疗保健行业的可持续和健康发展。

    平行医学和平行医院还需要我们变革医疗“硬件”理念,必须大力发展可移动和社区化的医疗装备,甚至无人医疗装备,试验“患者不动,医者动”和“医院分布于千家万户”的“快递”式医疗和健康服务体系。更为重要的是,必须从科学和技术上最大可能地保证患者的隐私权和正当权益。为此,必须加快研究针对医学医疗的区块链技术、智能合约方法和DAO (decentralized autonomous organizations and operations)系统,大力推动其广泛应用,使医疗健康服务过程的记录不可篡改,数据可溯源,隐私和权益不可侵犯,从而走上“真道”(TRUE DAO):“T”可信(trustable)、“R”可靠(reliable)、“U”可用(useful)、“E”益效(effective/efficient);“D”分布开放(distributed/decentralized)、“A”自动自主(automated/autonomous)、“O”组织有序(organized/ordered)。

    基于区块链、智能合约和DAO,世界范围内一大批以青年学者为主力的科研人员正热火朝天地开启一场分布开放式科学运动(decentralized/distributed autonomous science movement,DeSci),且医学、医疗、医药、生物学等均是这场运动的重要组成部分,得到了社会各界的关注和支持,如图 5所示。由DeSci已引发分布开放经济(DeEco)与分布开放生态和社会系统(DeSoc),研究趋势表明,开展相关分布开放医学医药(DeMed)和分布开放医疗医院(DeHospitals)研发日益重要和迫切。

    图  5  分布开放科学与生态现状[42]

    未来,平行医生和平行医院将使医疗进入数字化和智能化的新阶段。通过医学基础模型、医疗场景工程和医用操作系统等技术,生物人医生将管理、指导和协助数字人医生和机器人医生,并利用智能系统作出医疗决策,以提高医疗保健水平,在更好服务于患者的同时降低医疗工作者的负担。医疗模式从此将进入MAPeM新范式,人类医生不会“失业”,但会利用数字人医生和机器人医生降低社会医疗经济和生态成本。平行医生和平行医院面临的挑战,是如何让生物人医生具有优质诊断效果的同时减轻其认知负担,以及让数字人医生和机器人医生具有与生物人医生相当的智慧和能力。解决上述问题需要平行医学、数字人个体和医疗场景工程等有机结合,这将为诊断和治疗流程的重构演化提供支持。例如,平行医院和平行医生将面向医学基础模型、DAO[43]、DeSci[44]、DeSoc和DeHospitals等,与传统医疗体系结构实现一体化,成为培养生物人医生的“数字大学”和“数字研究所”。医疗的知识产品是“平行医生”和“平行医院”,数字人医生和机器人医生将不断更新迭代,建立智慧生态,实现医学知识自动化,建设包含认知医疗、平行医疗、加密医疗、联邦医疗、社会医疗、生态医疗的“6I”医疗体系,使医生工作者及其组织和团体进入“6S”境界[45]:物理世界安全(Safety),赛博空间安全(Security),生态体系可持续(Sustainability),个体隐私和权益得到保护(Sensitivity),有良好的服务(Service)和符合人类价值观的智慧(Smartness)。

    作者贡献:史乾灵、陈耀龙负责论文构思;史乾灵、刘辉负责论文初稿撰写;王子君、罗旭飞、王冰怡、杨楠负责论文修订;陈耀龙和孟文勃负责研究指导和论文审校。
    利益冲突:所有作者均声明不存在利益冲突
  • 图  1   应用GRADE分级系统评估某一临床问题中不同结局指标的证据体质量[7]

    PICO(Participants/Patients, Intervention, Control/Comparison, Outcome):研究对象,干预措施,对照或比较措施,结局指标;GRADE:同表 1

    Figure  1.   Evaluating the quality of evidence for different outcomes in PICO question using GRADE[7]

    图  2   临床实践指南和系统评价中不同证据质量的比例

    注:图中标记的具体数据表示中位数;蓝色代表高质量证据(A级),橙色代表中等质量证据(B级),红色代表低质量证据(C级),灰色代表极低质量证据(D级);*包括临床实践指南和系统评价

    Figure  2.   Quality of evidence in clinical practice guidelines and systematic reviews

    表  1   GRADE分级系统中证据质量与推荐强度的含义[4, 6]

    Table  1   Quality of evidence and strength of recommendations in GRADE system[4, 6]

    指标 具体描述 表达符号
    证据质量
      高 非常有把握观察值接近真实值 A
      中 对观察值有中等把握:观察值有可能接近真实值,但也有可能差别很大 B
      低 对观察值的把握有限:观察值可能与真实值有很大差别 C
      极低 对观察值几乎没有把握:观察值与真实值极可能有极大差别 D
    推荐强度
      强* 明确显示实施某项推荐意见利大于弊或弊大于利 1
      弱** 实施某项推荐意见的利弊不确定,或无论质量高低的证据均显示利弊相当 2
    *包括强推荐和强不推荐;* *包括弱推荐和弱不推荐;GRADE(Grading of Recommendations Assessment, Development, and Evaluation):推荐分级的评估、制订与评价
    下载: 导出CSV

    表  2   各领域临床实践指南和系统评价中不同证据质量的比例[17-38]

    Table  2   Quality of evidence in clinical practice guidelines and systematic reviews across different areas[17-38]

    领域 高质量证据(%) 中等质量证据(%) 低质量证据(%) 极低质量证据(%)
    临床实践指南(n=9)
      幽门螺杆菌感染 34.26 26.73 21.98 17.03
      胃肠病 24.70 34.26 32.67 8.37
      结直肠癌筛查 14.47 34.21 51.32 0
      综合(NCEC指南) 13.81 23.20 25.97 37.02
      综合(WHO指南) 11.84 21.93 34.65 31.58
      重症医学 10.91 29.16 34.37 25.55
      康复 10.26 30.77 38.46 20.51
      传染病 9.31 33.69 48.56 8.45
      银屑病性关节炎 0 11.25 38.75 50.00
    系统评价(n=13)
      干预类(Cochrane)* 13.49 30.76 31.74 24.01
      干预类(Cochrane)# 12.06 30.12 34.01 23.80
      麻醉、重症监护和急诊医学(Cochrane) 10.68 33.98 40.78 14.56
      公共卫生 9.91 24.32 25.23 40.54
      干预类 4.14 11.62 32.40 51.83
      雷公藤多苷治疗糖尿病肾病 4.11 17.81 41.10 36.99
      口腔健康 2.20 21.98 47.25 28.57
      丹参酮ⅡA磺酸钠注射液治疗冠心病 0.00 36.36 21.21 42.42
      中药治疗银屑病 0 33.33 35.56 31.11
      中医护理 0 22.58 64.52 12.90
      急性肾损伤 0 8.64 40.74 50.62
      中药治疗偏头痛 0 1.45 18.84 79.71
      针灸治疗乳腺癌相关淋巴水肿 0 0 61.54 38.46
    NCEC(National Clinical Effectiveness Committee):爱尔兰国家临床有效性委员会;WHO(World Health Organization):世界卫生组织;*纳入Cochrane协作网发布的1394篇与医疗或健康干预有关的系统评价;#纳入Cochrane协作网发布的2428篇干预类系统评价;纳入76篇发表于Ann Intern MedBMJJAMAPediatrics等杂志的干预类系统评价
    下载: 导出CSV

    表  3   主要指南制订手册关于从证据到推荐的一般要求和对低质量证据的考虑

    Table  3   Considerations for evidence to recommendation and low-quality evidence in main guideline development manuals

    组织 从证据到推荐的一般要求 关于低质量证据的描述
    WHO[44] 每个关键问题均需进行系统评价,使用GRADE方法评估每个重要结局指标的证据质量,并确定证据的总体质量。在形成推荐意见时,证据质量、价值观与偏好、利弊平衡和资源影响是决定其方向和强度的主要因素,其他因素还包括可接受性、可实施性、公平性等 强推荐在指南中并不常见;当利弊不确定时,可考虑形成有条件的推荐或弱推荐;特殊情况下可能因证据不足而不作出推荐。若无可用的证据,应明确说明证据缺乏,并将病例报告和国家或个人经验汇编作为形成推荐意见的基础,并明确记录过程及其局限性
    NICE[45] 识别和选择相关证据时需进行系统检索,使用GRADE或GRADE-CERQual方法评估各结局指标的证据质量。若使用其他方法,需相关人员讨论和同意,并说明原因。形成推荐意见时需同时考虑证据的总体质量、利弊平衡、成本效益、可实施性、公平性等各种因素 证据不充分时(如无证据、证据质量太低,或无法得出确切结论),委员会可考虑如下选择:(1)基于共识形成推荐;(2)形成对未来研究的建议,包括在指南制订中识别的证据不确定性或研究空白;(3)不形成推荐,该方式慎用
    GIN[46] 通过系统评价总结每个重要结局指标的最佳证据。也可不制作系统评价,但需提供解释。使用分级工具(如GRADE、美国预防服务工作组的分级标准等)评估每个重要结局指标的证据质量和证据的总体质量。对影响推荐意见形成的其他因素也要进行总结,如价值观与偏好、必要性、公平性、可行性及资源利用等 当证据不充分或质量极低时,在形成推荐意见时应做好准备,如弱推荐的判断依据应透明。若指南制订者认为作出错误决策的风险很大,可不形成推荐意见;在新的研究出现前,应指出目前的推荐是基于当前研究的最佳方案
    IOM[1] 无论证据是否充足,指南工作组均应遵循严格透明的步骤,汇总当前可得的所有研究证据,对其数量、质量和一致性进行描述,提供证据质量分级结果,明确证据空白,同时考虑价值观与偏好、利弊平衡、成本等其他因素 当指南小组确信实施某项措施利大于弊或弊大于利时,基于低或极低质量证据有可能形成强推荐,但这种情况并不常见。利弊平衡通常十分复杂或很难确定,面对低或极低质量,甚至高质量证据,都可能形成弱推荐
    SIGN[47] 对于需要解决的每个关键问题,均应对证据进行系统检索,使用GRADE方法评估每个关键问题的证据体质量。使用EtD框架形成推荐意见,并考虑价值观与偏好、资源可及性、公平性、成本等其他有可能影响推荐意见的因素 以下4种情况应形成弱推荐:(1)证据基础薄弱;(2)对观察值的把握有限;(3)需要平衡利弊;(4)患者接受度不同。当缺乏证据时可考虑形成GPP。若工作组认为有必要形成推荐,可基于极低质量证据形成弱推荐,但必须有来自工作组之外的证据支持。若不存在此类证据,应通过正式的方法形成基于共识的建议(consensus-based recommendation)
    中华医学会[48] 推荐意见的形成需基于系统评价的证据,可在评估质量和时效性后使用已发表的系统评价,也可重新制作。推荐使用GRADE方法对证据体的质量和推荐意见强度进行分级。使用EtD框架形成推荐意见,既要基于当前可得的最佳研究证据,也要综合考虑资源利用、价值观与偏好、公平性等多方面因素 当证据质量低或缺乏直接证据时,需考虑专家意见和专家证据在其中发挥的作用
    NICE(National Institute for Health and Care Excellence):英国国家卫生与临床优化研究所;GIN(Guidelines International Network):国际指南联盟;IOM(Institute of Medicine):原美国医学科学院;SIGN(Scottish Intercollegiate Guidelines Network):苏格兰学会联合指南网络;EtD(evidence to decision):证据到推荐;GPP(good practice points):良好实践声明;WHO:同表 2;GRADE:同表 1
    下载: 导出CSV

    表  4   GRADE分级系统中基于低或极低质量证据形成强推荐的5种情况[20, 56]

    Table  4   Paradigmatic situations in which a strong recommendation may be made based on low or very low certainty evidence[20, 56]

    序号 具体情况 示例
    1 危及生命(或灾难性)的情况下,低质量证据表明某种措施可能降低死亡率(有关危害的证据可能很低或很高) 两性霉素与伊曲康唑用于治疗威胁生命的播散性芽生菌病患者。高质量证据表明两性霉素产生的毒性比伊曲康唑更大,但低质量证据表示两性霉素在此情形下可降低病死率。考虑到危及生命的情况,指南制订小组强推荐使用两性霉素
    2 低或极低质量证据表明某种措施不确定是否获益,但中等或高质量证据表明该措施有害或成本很高 行手术治疗的白内障患者可接受球后麻醉或局部麻醉。低质量证据显示,球后麻醉较局部麻醉具有更多益处,如降低术中小韧带撕裂、虹膜脱垂的风险和手术疼痛等。但高质量证据表明,球后麻醉会带来严重危害,包括球结膜水肿、眶周血肿,甚至产生危及生命的并发症。考虑到这一情况,指南制订小组强推荐白内障手术患者采取局麻替代球后麻醉
    3 低质量证据表明备选方案的获益大小相似,但高质量证据表明其中一种危害更小或成本更低 黏膜相关淋巴组织淋巴瘤患者存在幽门螺杆菌感染,通常行放射或胃切除术治疗。低质量证据表明,使用抗生素治疗幽门螺杆菌与放射或胃切除术具有相似的完全缓解率。同时高质量证据表明,抗生素可明显减少危害、降低发病率和成本。故指南强推荐此类患者使用抗生素根除幽门螺杆菌,而不是进行放疗或胃切除
    4 高质量证据表明备选方案的获益大小相似,但低质量证据表明其中一种危害更大或成本更高 亚临床甲状腺功能减退症患者能否从甲状腺激素治疗中获益尚不确定。中等至高质量证据表明,无论是否服用激素,患者在甲状腺相关症状和生活质量方面的改善是相似的,但低质量证据表明,服用激素并非无害。故指南强推荐不为此类成人患者提供甲状腺激素治疗
    5 某项措施不确定是否获益,或高质量证据表明中等获益,但低或极低质量证据表明可能会发生灾难性的危害 对于前列腺癌患者或有前列腺癌风险的男性,高质量证据表明睾酮对改善患者的骨矿物质密度和肌肉力量有中等效益;但低质量证据表明,睾酮同时会造成伤害(如增加癌细胞转移风险)。故指南强推荐前列腺癌患者不应服用睾酮治疗
    GRADE:同表 1
    下载: 导出CSV
  • [1]

    Institute of Medicine. Clinical practice guidelines we can trust[M]. Washington, D.C.: The National Academies Press, 2011.

    [2]

    Mc Allister M, Florez I D, Stoker S, et al. Advancing guideline quality through country-wide and regional quality assessment of CPGs using AGREE: a scoping review[J]. BMC Med Res Methodol, 2023, 23(1): 283. DOI: 10.1186/s12874-023-02101-5

    [3]

    Zhou Q, Wang Z J, Shi Q L, et al. Clinical epidemiology in China series. Paper 4: the reporting and methodological quality of Chinese clinical practice guidelines published between 2014 and 2018: a systematic review[J]. J Clin Epidemiol, 2021, 140: 189-199. DOI: 10.1016/j.jclinepi.2021.08.013

    [4]

    Guyatt G H, Oxman A D, Vist G E, et al. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations[J]. BMJ, 2008, 336(7650): 924-926. DOI: 10.1136/bmj.39489.470347.AD

    [5] 周奇, 董冲亚, 王业明, 等. 循证医学理念在指导临床研究与实践中的作用: 基于对抗病毒药物治疗新型冠状病毒肺炎的思考[J]. 中国循证医学杂志, 2022, 22(4): 373-379. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ202204001.htm

    Zhou Q, Dong C Y, Wang Y M, et al. The role of evidence-based medicine in guiding clinical research and practice: expert opinion based on studies on antiviral drugs for the treatment of COVID-19[J]. Chin J Evid-based Med, 2022, 22(4): 373-379. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ202204001.htm

    [6]

    Guyatt G, Oxman A D, Akl E A, et al. GRADE guidelines: 1. Introduction-GRADE evidence profiles and summary of findings tables[J]. J Clin Epidemiol, 2011, 64(4): 383-394. DOI: 10.1016/j.jclinepi.2010.04.026

    [7]

    Andrews J, Guyatt G, Oxman A D, et al. GRADE guidelines: 14. Going from evidence to recommendations: the significance and presentation of recommendations[J]. J Clin Epidemiol, 2013, 66(7): 719-725. DOI: 10.1016/j.jclinepi.2012.03.013

    [8]

    Guyatt G H, Oxman A D, Vist G, et al. GRADE guidelines: 4. Rating the quality of evidence--study limitations (risk of bias)[J]. J Clin Epidemiol, 2011, 64(4): 407-415. DOI: 10.1016/j.jclinepi.2010.07.017

    [9]

    Amstutz A, Speich B, Mentré F, et al. Effects of remdesivir in patients hospitalised with COVID-19: a systematic review and individual patient data meta-analysis of randomised controlled trials[J]. Lancet Respir Med, 2023, 11(5): 453-464. DOI: 10.1016/S2213-2600(22)00528-8

    [10]

    Beigel J H, Tomashek K M, Dodd L E, et al. Remdesivir for the treatment of covid-19 - final report[J]. N Engl J Med, 2020, 383(19): 1813-1826. DOI: 10.1056/NEJMoa2007764

    [11]

    Wang Y M, Zhang D Y, Du G H, et al. Remdesivir in adults with severe COVID-19: a randomised, double-blind, placebo-controlled, multicentre trial[J]. Lancet, 2020, 395(10236): 1569-1578. DOI: 10.1016/S0140-6736(20)31022-9

    [12]

    Jacobson R M, Pignolo R J, Lazaridis K N. Clinical trials for special populations: children, older adults, and rare diseases[J]. Mayo Clin Proc, 2024, 99(2): 318-335. DOI: 10.1016/j.mayocp.2023.03.003

    [13]

    Hanlon P, Hannigan L, Rodriguez-Perez J, et al. Representation of people with comorbidity and multimorbidity in clinical trials of novel drug therapies: an individual-level participant data analysis[J]. BMC Med, 2019, 17(1): 201. DOI: 10.1186/s12916-019-1427-1

    [14] 陈耀龙, 杨克虎. 正确理解、制订和使用临床实践指南[J]. 协和医学杂志, 2018, 9(4): 367-373. DOI: 10.3969/j.issn.1674-9081.2018.04.015

    Chen Y L, Yang K H. How to correctly understand, develop, and apply clinical practice guidelines[J]. Med J PUMCH, 2018, 9(4): 367-373. DOI: 10.3969/j.issn.1674-9081.2018.04.015

    [15]

    Liu E M, Smyth R L, Luo Z X, et al. Rapid advice guidelines for management of children with COVID-19[J]. Ann Transl Med, 2020, 8(10): 617. DOI: 10.21037/atm-20-3754

    [16]

    Lamontagne F, Fowler R A, Adhikari N K, et al. Evidence-based guidelines for supportive care of patients with Ebola virus disease[J]. Lancet, 2018, 391(10121): 700-708. DOI: 10.1016/S0140-6736(17)31795-6

    [17]

    Ou J Y, Li J Y, Liu Y, et al. Quality appraisal of clinical guidelines for Helicobacter pylori infection and systematic analysis of the level of evidence for recommendations[J]. PLoS One, 2024, 19(4): e0301006. DOI: 10.1371/journal.pone.0301006

    [18]

    Murayama A, Kamamoto S, Murata N, et al. Evaluation of financial conflicts of interest and quality of evidence in Japanese gastroenterology clinical practice guidelines[J]. J Gastroenterol Hepatol, 2023, 38(4): 565-573. DOI: 10.1111/jgh.16089

    [19]

    Weissman S, Goldowsky A, Aziz M, et al. Colorectal cancer screening guidelines are primarily based on low-moderate-quality evidence[J]. Dig Dis Sci, 2021, 66(12): 4208-4219. DOI: 10.1007/s10620-020-06755-9

    [20]

    Chong M C, Sharp M K, Smith S M, et al. Strong recommendations from low certainty evidence: a cross-sectional analysis of a suite of national guidelines[J]. BMC Med Res Methodol, 2023, 23(1): 68. DOI: 10.1186/s12874-023-01895-8

    [21]

    Alexander P E, Bero L, Montori V M, et al. World Health Organization recommendations are often strong based on low confidence in effect estimates[J]. J Clin Epidemiol, 2014, 67(6): 629-634. DOI: 10.1016/j.jclinepi.2013.09.020

    [22]

    Zhang Z H, Hong Y C, Liu N. Scientific evidence underlying the recommendations of critical care clinical practice guidelines: a lack of high level evidence[J]. Intensive Care Med, 2018, 44(7): 1189-1191. DOI: 10.1007/s00134-018-5142-8

    [23] 周奇, 王玲, 杨楠, 等. 基于GRADE康复临床实践指南证据质量与推荐强度研究[J]. 中国康复理论与实践, 2020, 26(2): 156-160. https://www.cnki.com.cn/Article/CJFDTOTAL-ZKLS202002006.htm

    Zhou Q, Wang L, Yang N, et al. Quality of evidence and strength of recommendations of clinical practice guidelines of rehabilitation based on GRADE[J]. Chin J Rehabil Theory Pract, 2020, 26(2): 156-160. https://www.cnki.com.cn/Article/CJFDTOTAL-ZKLS202002006.htm

    [24]

    Miles K E, Rodriguez R, Gross A E, et al. Strength of recommendation and quality of evidence for recommendations in current Infectious Diseases Society of America guidelines[J]. Open Forum Infect Dis, 2021, 8(2): ofab033. DOI: 10.1093/ofid/ofab033

    [25]

    Mamada H, Murayama A, Kamamoto S, et al. Evaluation of financial and nonfinancial conflicts of interest and quality of evidence underlying psoriatic arthritis clinical practice guidelines: analysis of personal payments from pharmaceutical companies and authors' self-citation rate in Japan and the United States[J]. Arthritis Care Res (Hoboken), 2023, 75(6): 1278-1286. DOI: 10.1002/acr.25032

    [26]

    Fleming P S, Koletsi D, Ioannidis J P A, et al. High quality of the evidence for medical and other health-related interventions was uncommon in Cochrane systematic reviews[J]. J Clin Epidemiol, 2016, 78: 34-42. DOI: 10.1016/j.jclinepi.2016.03.012

    [27]

    Howick J, Koletsi D, Ioannidis J P A, et al. Most healthcare interventions tested in Cochrane reviews are not effective according to high quality evidence: a systematic review and meta-analysis[J]. J Clin Epidemiol, 2022, 148: 160-169. DOI: 10.1016/j.jclinepi.2022.04.017

    [28]

    Conway A, Conway Z, Soalheira K, et al. High quality of evidence is uncommon in Cochrane systematic reviews in anaesthesia, critical care and emergency medicine[J]. Eur J Anaesthesiol, 2017, 34(12): 808-813. DOI: 10.1097/EJA.0000000000000691

    [29]

    Xun Y Q, Guo Q Q, Ren M J, et al. Characteristics of the sources, evaluation, and grading of the certainty of evidence in systematic reviews in public health: a methodological study[J]. Front Public Health, 2023, 11: 998588. DOI: 10.3389/fpubh.2023.998588

    [30]

    Kane R L, Butler M, Ng W. Examining the quality of evidence to support the effectiveness of interventions: an analysis of systematic reviews[J]. BMJ Open, 2016, 6(5): e011051. DOI: 10.1136/bmjopen-2016-011051

    [31]

    Shi H S, Deng P, Dong C D, et al. Quality of evidence supporting the role of tripterygium glycosides for the treatment of diabetic kidney disease: an overview of systematic reviews and meta-analyses[J]. Drug Des Devel Ther, 2022, 16: 1647-1665. DOI: 10.2147/DDDT.S367624

    [32]

    Pandis N, Fleming P S, Worthington H, et al. The quality of the evidence according to GRADE is predominantly low or very low in oral health systematic reviews[J]. PLoS One, 2015, 10(7): e0131644. DOI: 10.1371/journal.pone.0131644

    [33]

    Peng L F, Fan M X, Li J H, et al. Evidence quality assessment of sodium tanshinone IIA sulfonate injection intervention coronary heart disease angina pectoris: an overview of systematic reviews and meta-analyses[J]. Medicine (Baltimore), 2023, 102(44): e35509. DOI: 10.1097/MD.0000000000035509

    [34]

    Zhang J, Yu Q Y, Peng L, et al. Benefits and safety of Chinese herbal medicine in treating psoriasis: an overview of systematic reviews[J]. Front Pharmacol, 2021, 12: 680172. DOI: 10.3389/fphar.2021.680172

    [35]

    Jin Y H, Wang G H, Sun Y R, et al. A critical appraisal of the methodology and quality of evidence of systematic reviews and meta-analyses of traditional Chinese medical nursing interventions: a systematic review of reviews[J]. BMJ Open, 2016, 6(11): e011514. DOI: 10.1136/bmjopen-2016-011514

    [36]

    Kong Y K, Wei X Q, Duan L, et al. Rating the quality of evidence: the GRADE system in systematic reviews/meta-analyses of AKI[J]. Ren Fail, 2015, 37(7): 1089-1093.

    [37]

    Fu G J, Fan X M, Liang X, et al. An overview of systematic reviews of Chinese herbal medicine in the treatment of migraines[J]. Front Pharmacol, 2022, 13: 924994. DOI: 10.3389/fphar.2022.924994

    [38]

    Wang L, Du X Y, Hu P, et al. Quality of evidence supporting the role of acupuncture for breast cancer-related lymphoedema: an overview of systematic reviews and meta-analyses[J]. J Cancer Res Clin Oncol, 2023, 149(18): 16669-16678. DOI: 10.1007/s00432-023-05419-1

    [39]

    Brouwers M C, Kho M E, Browman G P, et al. AGREE Ⅱ: advancing guideline development, reporting and evaluation in health care[J]. CMAJ, 2010, 182(18): E839-E842. DOI: 10.1503/cmaj.090449

    [40]

    Chen Y L, Yang K H, Maru ic A, et al. A reporting tool for practice guidelines in health care: the RIGHT statement[J]. Ann Intern Med, 2017, 166(2): 128-132. DOI: 10.7326/M16-1565

    [41]

    Yang N, Liu H, Zhao W, et al. Development of the scientific, transparent and applicable rankings (STAR) tool for clinical practice guidelines[J]. Chin Med J (Engl), 2023, 136(12): 1430-1438. DOI: 10.1097/CM9.0000000000002713

    [42] 中华医学会杂志社指南与标准研究中心, 中国医学科学院循证评价与指南研究创新单元(2021RU017), 世界卫生组织指南实施与知识转化合作中心, 等. 2022年医学期刊发表中国指南和共识的科学性、透明性和适用性的评级[J]. 中华医学杂志, 2023, 103(37): 2912-2920. DOI: 10.3760/cma.j.cn112137-20230724-00076

    Guidelines and Standards Research Center Chinese Medical Association Publishing House, Research Unit of Evidence-Based Evaluation and Guidelines (2021RU017), Chinese Academy of Medical Sciences, WHO Collaborating Centre for Guideline Implementation and Knowledge Translation, et al. Evaluation and ranking for scientific, transparent and applicable of Chinese guidelines and consensus published in the medical journals in 2022[J]. Natl Med J China, 2023, 103(37): 2912-2920. DOI: 10.3760/cma.j.cn112137-20230724-00076

    [43]

    Barker T H, Dias M, Stern C, et al. Guidelines rarely used GRADE and applied methods inconsistently: a methodo-logical study of Australian guidelines[J]. J Clin Epidemiol, 2021, 130: 125-134. DOI: 10.1016/j.jclinepi.2020.10.017

    [44]

    World Health Organization. WHO handbook for guideline development[M]. 2nd ed. Geneva: WHO Press, 2014.

    [45]

    National Institute for Health and Care Excellence. Developing NICE guidelines: the manual[M/OL ]. London: National Institute for Health and Care Excellence, 2024(2024-01-17)[2024-04-02]. https://www.nice.org.uk/process/pmg20/resources/developing-nice-guidelines-the-manual-pdf-72286708700869.

    [46]

    Guidelines International Network, McMaster University. GIN-McMaster guideline development checklist[M/OL]. [2024-04-02 ]. https://macgrade.mcmaster.ca/resources/gin-mcmaster-guideline-development-checklist/.

    [47]

    Scottish Intercollegiate Guidelines Network (SIGN). A guideline developer's handbook[M/OL]. [2024-04-02]. https://www.sign.ac.uk.

    [48] 陈耀龙, 杨克虎, 王小钦, 等. 中国制订/修订临床诊疗指南的指导原则(2022版)[J]. 中华医学杂志, 2022, 102(10): 697-703. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGUD202210051.htm

    Chen Y L, Yang K H, Wang X Q, et al. Guiding principles for developing and updating Chinese diagnosis and treatment guidelines(version 2022)[J]. Natl Med J China, 2022, 102(10): 697-703. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGUD202210051.htm

    [49]

    Alonso-Coello P, Schünemann H J, Moberg J, et al. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 1: Introduction[J]. BMJ, 2016, 353: i2016.

    [50]

    Guyatt G H, Oxman A D, Kunz R, et al. GRADE guidelines: 2. Framing the question and deciding on important outcomes[J]. J Clin Epidemiol, 2011, 64(4): 395-400. DOI: 10.1016/j.jclinepi.2010.09.012

    [51]

    Guyatt G, Oxman A D, Sultan S, et al. GRADE guidelines: 11. Making an overall rating of confidence in effect estimates for a single outcome and for all outcomes[J]. J Clin Epidemiol, 2013, 66(2): 151-157. DOI: 10.1016/j.jclinepi.2012.01.006

    [52]

    Guyatt G H, Oxman A D, Kunz R, et al. What is "quality of evidence" and why is it important to clinicians?[J]. BMJ, 2008, 336(7651): 995-998. DOI: 10.1136/bmj.39490.551019.BE

    [53]

    Karanicolas P J, Davies E, Kunz R, et al. The pylorus: take it or leave it? Systematic review and meta-analysis of pylorus-preserving versus standard whipple pancreaticoduodenectomy for pancreatic or periampullary cancer[J]. Ann Surg Oncol, 2007, 14(6): 1825-1834. DOI: 10.1245/s10434-006-9330-3

    [54]

    Guyatt G H, Oxman A D, Schünemann H J, et al. GRADE guidelines: a new series of articles in the Journal of Clinical Epidemiology[J]. J Clin Epidemiol, 2011, 64(4): 380-382. DOI: 10.1016/j.jclinepi.2010.09.011

    [55] 杨克虎, 陈耀龙, 孙凤, 等. GRADE在系统评价和实践指南中的应用[M]. 第2版. 北京: 中国协和医科大学出版社, 2021: 3.

    Yang K H, Chen Y L, Sun F, et al. The application of GRADE in systematic reviews and practice guidelines[M]. 2nd ed. Beijing: Peking Union Medical College Press, 2021: 3.

    [56]

    Andrews J C, Schünemann H J, Oxman A D, et al. GRADE guidelines: 15. Going from evidence to recommendation-determinants of a recommendation's direction and strength[J]. J Clin Epidemiol, 2013, 66(7): 726-735. DOI: 10.1016/j.jclinepi.2013.02.003

    [57]

    Bautista-Orduno K G, Dorsey-Trevino E G, Gonzalez-Gonzalez J G, et al. American Thyroid Association guidelines are inconsistent with grading of recommendations assess-ment, development, and evaluations-a meta-epidemiologic study[J]. J Clin Epidemiol, 2020, 123: 180-188. e2. DOI: 10.1016/j.jclinepi.2020.02.010

    [58] 谢方瑜, 孙秀杰, 芦秀燕, 等. 低质量证据强推荐意见在中国护理实践指南中的现状分析[J]. 护理学报, 2021, 28(20): 39-43. https://www.cnki.com.cn/Article/CJFDTOTAL-NFHL202120007.htm

    Xie F Y, Sun X J, Lu X Y, et al. Current status of recommendation of low-quality evidence in Chinese nursing practice guidelines[J]. J Nurs, 2021, 28(20): 39-43. https://www.cnki.com.cn/Article/CJFDTOTAL-NFHL202120007.htm

    [59]

    Alexander P E, Brito J P, Neumann I, et al. World Health Organization strong recommendations based on low-quality evidence (study quality) are frequent and often inconsistent with GRADE guidance[J]. J Clin Epidemiol, 2016, 72: 98-106. DOI: 10.1016/j.jclinepi.2014.10.011

    [60]

    Yao L, Ahmed M M, Guyatt G H, et al. Discordant and inappropriate discordant recommendations in consensus and evidence based guidelines: empirical analysis[J]. BMJ, 2021, 375: e066045.

    [61]

    Yao L, Guyatt G H, Djulbegovic B. Can we trust strong recommendations based on low quality evidence?[J]. BMJ, 2021, 375: n2833.

    [62]

    Meneses-Echavez J F, Bidonde J, Montesinos-Guevara C, et al. Using evidence to decision frameworks led to guidelines of better quality and more credible and transparent recommendations[J]. J Clin Epidemiol, 2023, 162: 38-46. DOI: 10.1016/j.jclinepi.2023.07.013

    [63]

    Lund H, Brunnhuber K, Juhl C, et al. Towards evidence based research[J]. BMJ, 2016, 355: i5440.

    [64] 刘辉, 兰慧, 赵思雅, 等. 2019年期刊公开发表的中国临床实践指南文献调查与评价: 研究空白[J]. 协和医学杂志, 2022, 13(3): 498-505. https://www.cnki.com.cn/Article/CJFDTOTAL-XHYX202203022.htm

    Liu H, Lan H, Zhao S Y, et al. Investigation and evaluation of Chinese clinical practice guidelines published in medical journals in 2019: research gaps[J]. Med J PUMCH, 2022, 13(3): 498-505. https://www.cnki.com.cn/Article/CJFDTOTAL-XHYX202203022.htm

    [65]

    WHO. WHO guideline for complementary feeding of infants and young children 6-23 months of age[M]. Geneva: World Health Organization, 2023.

  • 期刊类型引用(3)

    1. 荆舒,戴振威,苏小游,李峥. 群医学理念在护理实践中的应用及启示. 中华护理杂志. 2025(04): 493-499 . 百度学术
    2. 张祎冰,黄鹏. BOPPPS教学模式结合雨课堂在眼科临床见习中的应用. 医学研究杂志. 2024(09): 188-191 . 百度学术
    3. 董樑,汪天翔,薛蔚,丁强. “4+4”临床医学培养模式中开展医工交叉的思考. 上海医学. 2024(08): 466-469 . 百度学术

    其他类型引用(0)

图(2)  /  表(4)
计量
  • 文章访问数:  284
  • HTML全文浏览量:  44
  • PDF下载量:  84
  • 被引次数: 3
出版历程
  • 收稿日期:  2024-04-28
  • 录用日期:  2024-05-20
  • 网络出版日期:  2024-05-29
  • 发布日期:  2024-05-29
  • 刊出日期:  2024-05-29

目录

/

返回文章
返回
x 关闭 永久关闭

经过中国科学引文数据库(Chinese Science Citation Database,简称CSCD)的定量遴选、学科专家评审和中国科学引文数据库来源期刊遴选委员会的评议,《协和医学杂志》成为2019-2020年度中国科学引文数据库来源期刊!

点击链接浏览:

中国科学引文数据库来源期刊列表(2019-2020年)

http://cbimg.cnki.net/Editor/2019/0430/xhyx/e90a8221-5e4a-452c-b861-1c6d83793879.pdf