How to Correctly Understand and Use the Low-quality Evidence to Formulate Recommendations in Guidelines
-
摘要:
推荐意见是临床实践指南的核心。基于低质量证据作出强推荐意见是当前国内外指南普遍存在的现象。医务人员认为缺乏高质量的证据就无法制订高质量的指南或仅可制订专家共识是典型的误解。本文以GRADE分级系统为切入点, 阐述低质量证据的基本内涵和临床作用, 介绍基于低质量证据形成指南推荐意见的方法, 以期为我国指南制订者和使用者提供参考。
Abstract:The essence of clinical practice guidelines lies in their recommendations. It is common to find strong recommendations supported by low-quality evidence in current published guidelines. There is a typical misunderstanding among medical professionals that without high-quality evidence, it is impossible to develop high-quality guidelines or only expert consensus can be developed. Based on the GRADE approach, this paper explains the concept and clinical significance of low-quality evidence, and introduces the methods for formulating recommendations based on low-quality evidence in guidelines, with the aim to provide reference for guideline developers and users in China.
-
Keywords:
- clinical practice guidelines /
- recommendations /
- quality of evidence /
- GRADE
-
随着重症救治理论、技术和方法的不断更新,重症医学科患者在应用各种机械辅助及多个血管内导管治疗原发病、保障器官功能的同时,也为细菌入侵建立了可能通路,极大提高了导管相关血流感染(catheter related blood stream infection,CRBSI)的发生率[1-2]。美国疾病控制与预防中心(Center for Disease Control and Prevention,CDC)指出,重症医学科平均住院天数<7 d的患者其CRBSI的发生率显著增加[3],且12%~25%的患者死于CRBSI[4-5]。我国CRBSI的发生率相对较高,每千导管日感染发生率为9.8‰[6],其中80%以上发生于重症医学科,而国际医院感染控制联盟(International Nosocomial Infection Control Consortium,INICC)每千导管日感染发生率为6.8‰ [6]。患者在重症医学科接受治疗的过程中频繁插入多个导管、经常因特殊治疗紧急置管、频繁使用接头、导管长时间留置、免疫功能低下及完全胃肠外营养等,均是导致CRBSI发生的主要危险因素[7-10]。我国重症医学科发生CRBSI的最常见致病菌为大肠埃希菌、肺炎克雷伯菌、表皮葡萄球菌、金黄色葡萄球菌和人葡萄球菌[10-11]。留置外周静脉导管的感染发生率最低约为1%,经颈内静脉或锁骨下静脉短暂置管的感染发生率约为3%~5%,用于血液透析的中心静脉导管感染发生率最高约为10%[7]。
CRBSI既是重症医学科致命的医源性感染,也是危重患者病情恶化、死亡的主要原因之一,但其是可预防的[12]。有效预防CRBSI是导管使用的前提,而重症感染防控策略是其治疗的基石。医务人员应认识到“防大于治”至关重要,没有感控就没有治疗的基础,更没有医疗安全可言。CRBSI防控的核心技术包括:从细菌侵入血液机制着手,进行节点控制、封闭入路、阻断侵入途径;完善环境清洁及消毒,避免耐药菌交叉传播;合理使用抗生素,尽早恢复胃肠功能,保护肠道正常菌群;积极去除感染诱因,彻底清创,充分引流。本文阐述了CRBSI防控的核心技术,探讨如何在临床实践中落实防控措施以避免和减少CRBSI的发生,甚至使其零感染。
1. 从细菌侵入血液机制着手,进行节点控制,封闭入路,阻断侵入途径
导管对皮肤屏障功能的破坏,导致细菌感染成为可能。从细菌侵入血液的机制(图 1)可以看出[13],引发CRBSI的微生物可来自输液污染或(a)血流感染污染导管端口,但大部分来自于(b)患者的皮肤(60%),因缺乏皮肤消毒导致穿刺部位的皮肤细菌移行至皮下导管,或来自于(c)导管尾端接口(catheter hub)部位的污染(12%)。后两种途径的污染可引起细菌在导管腔外和腔内定植,微生物黏附于(d)导管表面,经繁殖后形成小菌落。通过矩阵生产和细菌群体感应信号,随后发展为成熟的(e)生物被膜。而(f)生物被膜碎片或个别细胞扩散,可造成血流感染,最终导致感染播散。导管表面微生物定植非常迅速,24 h内即可完成[14]。导管置入0~4 h内,病原体黏附于导管表面生长;导管置入4 h后,微生物定植,继而生物被膜生成,病原菌弥散进入血液导致CRBSI。研究指出,在使用时间<14 d的导管中,细菌以导管外覆着为主(70%),沿导管外表面向外移行生长;在使用时间>14 d的导管中,细菌则以导管腔内覆着为主(20%~30%),在导管内移行和生长[15]。
目前,重症医学科的CRBSI预防方案已基本完善,并建立了中心静脉导管置入和维护过程中预防感染的国家标准[2]。本文以国家卫生健康委员会2021年发布的《血管导管相关感染预防与控制指南》[15]及美国感染性疾病学会2023年发布的《血管内导管相关感染诊断和处理的临床指南》[16]为依据,以制度为准绳,基于细菌侵入血液的机制对CRBSI进行核心防控,控制节点,封闭入路,阻断细菌通过导管开放侵入体内的途径。监测、控制的节点具体包括以下方面:医务人员的手卫生、穿刺置管位置的选择、穿刺点皮肤的清洁及消毒、最大无菌化屏障的落实、穿刺点辅料的护理、导管尾端接口技术的改进和无菌操作及配液的质控。这些既是发生感染的重要环节,也是预防感染的关键环节。
对于重症医学科的CRBSI防控,医务人员明确知道应该做什么和怎么做,但为何其感染发生率依旧居高不下?面对上级主管部门的医院感染检查,医务人员常常能够顺利通过考核,但为何重症医学科的CRBSI仍然普遍存在?CRBSI真的防不胜防吗,还是防而不实?重症医学科的CRBSI零感染到底能否实现?这些问题值得深思和探讨。
内容与形式是辩证法的一对基本范畴。任何事物既有其内容,也有其形式,二者是辩证统一的。内容决定形式,形式则服从内容,并随内容的变化而变化。重症医学科临床工作中对于CRBSI的防控也存在内容和形式的体现,应坚持从内容出发,根据内容确定形式,而不能从形式出发,忽略内容的实质,必须根据医院感染防控的要求变换形式去落实内容。
1.1 手卫生的内容与形式
在手部皮肤定植菌中,通常80% 为非致病的常居菌(如凝固酶阴性葡萄球菌、棒状杆菌类、白假丝酵母菌、不动杆菌属等),20% 为来源于环境的暂居菌(如金黄色葡萄球菌、肠球菌、克雷伯杆菌、呼吸道病毒等),其与医院感染密切相关。常居菌可通过皮肤脱屑或出汗等途径转化为暂居菌,暂居菌可通过长期皮肤污染,进入毛囊、汗腺和皮脂腺内,成为常居菌。加强手卫生管理可最大限度减少常居菌、消除暂居菌,从而达到感染防控的目的。重症医学科医务人员手部革兰阴性杆菌的携带率为80%,在执行操作过程中医务人员每分钟可获得16 cfu/cm2的细菌,一个简单的操作即可使手部细菌增加100~1000 cfu/cm2[17]。医务人员手部的带菌量为108 cfu/cm2,一般情况下不致病,但对于免疫功能低下的患者,103 cfu/cm2甚至更少的带菌量即可致病[17]。且大多数革兰阴性杆菌引起的CRBSI,均是以医务人员的手为媒介将细菌传播至患者引起的,因此手卫生是一切感控措施有效实施的前提和基础。
手卫生的内容即手部要干净,包括普通洗手、卫生手消毒、外科手消毒。笔者对重症医学科医务人员随机进行了一次手卫生测试,在其洗手前后分别采集标本,并放置平板培养皿进行培养。结果显示:洗手前,10个培养皿培养出细菌,5个培养出真菌;而洗手后,培养皿的细菌数量明显下降,且2个培养皿未出现任何微生物,仅1个培养皿出现真菌。由此可见,手卫生对于感染防控至关重要。手卫生的形式体现在洗手的时间、工具、方式、监督措施、效果评价等。应从手卫生的形式去落实其内容,但在临床实践中,医护人员的手卫生依从性较差。相关研究针对重症医学科医护人员的手卫生依从性现状进行调查,结果发现护士的手卫生依从性为67.8%,医生为62.9%,接触患者前手卫生的依从性为42%,接触患者后为63.2%[18]。研究表明,增加手卫生依从性与降低CRBSI发生率存在相关性[19]。因此,重症医学科医务人员应在多次感染暴发中反思手卫生的重要性。为加强手卫生的依从性,除进行多方位监督(如同事、患者、监控、感控员及院感办监督等)外,还可借助多样化形式落实手卫生内容。研究表明,积极实施手卫生监督干预措施,每千导管日CRBSI发生率可由干预前的3.9‰下降至干预后的1.0‰(P<0.001),CRBSI的平均天数由干预前的9 d下降至干预后的6.5 d[20]。
1.2 最大无菌化屏障的内容与形式
最大无菌化屏障可明显降低CRBSI的发生率[21],其内容本质是无菌化,形式则包括全合一无菌包的使用时间、覆盖范围、使用方式等。临床工作中重症医学科医务人员在实施有创操作时,体现出对最大无菌化屏障的内容和形式不统一,忽视最大无菌化屏障及无菌操作,导致CRBSI的发生。医院感控部门检查与否或上级医师监督与否,有创操作时最大无菌化屏障及无菌操作流程的落实存在较大差别,这实际上是形式主义的突出表现,其本质是对感染防控内容在思想认识上的缺失。
1.3 导管穿刺的内容与形式
导管穿刺对于CRBSI的发生至关重要,其内容是导管穿刺和皮肤消毒,其形式是穿刺部位的选择、穿刺部位皮肤的消毒方法及消毒剂选择等。
1.3.1 导管穿刺
导管置入的常见位置为颈内静脉、锁骨下静脉和股静脉。选择穿刺位置时,除考虑穿刺相关机械损伤并发症(如气胸、血胸、血栓形成、误穿动脉)外,还应考虑穿刺部位的感染风险。研究表明,股静脉置管并发血流感染的发生率较颈内静脉及锁骨下静脉高[22]。也有研究表明,股静脉置管并发血流感染的发生率低于颈内静脉[23]。临床情况复杂多变,在连续性肾脏替代治疗(continuous renal replacement therapy,CRRT)置管时,对于肥胖与瘦弱者、气管切开与否、导管穿刺位置选择是否一致,应具体问题具体分析,寻找最理想的穿刺部位。此外,医务人员置管技术的熟练程度也是影响CRBSI发生的危险因素。研究发现,放置锁骨下静脉导管<50根的医生置管后发生导管性脓毒症的风险高于操作熟练医生的2倍以上[24]。对于困难置管,可变换形式落实内容,如反复穿刺3次均失败则应更换穿刺部位,或采用床旁二维超声、多普勒超声等定位引导技术实施血管穿刺,以增加操作的成功率,提高穿刺速度,减少穿刺引起的机械性损伤等并发症,有效避免因多次穿刺引发CRBSI[25]。
1.3.2 皮肤消毒
穿刺部位皮肤消毒前要视皮肤污染情况进行不同程度的清洁,彻底清洁是保证消毒效果的前提。对于皮肤消毒剂的选择,2%洗必泰、75%酒精、碘酊、次氯酸的消毒效果优于碘伏[26],且消毒剂需持续足够的作用时间以保证消毒效果,2%洗必泰、75%酒精及碘酊的作用时间仅30 s,而碘伏为1.5~2 min。相较于其他消毒剂,2%洗必泰具有较强的广谱抑菌、杀菌作用,是一种较好的杀菌消毒剂,其对革兰阳性及阴性菌的杀菌效果更好,作用时间短,干燥速度快,残留作用更持久。但因洗必泰价格较高,临床可获得性低,故75%酒精的临床应用较广泛,其作用时间短,抗菌谱广,可杀死几乎所有细菌、真菌及大部分病毒。值得注意的是,不应形式上单纯追求对消毒剂的选择,还应关注每次消毒后的待干过程,不宜擦干、蘸干或吹干。若消毒剂未干透,则达不到彻底消毒效果,此时穿刺置管的直接后果是皮肤上的细菌污染导管尖端进而进入血管。
1.4 导管维护的内容与形式
导管维护的内容是无菌,而形式则是维护,包括敷料的选择、何时更换敷料、导管尾端接口的消毒等。国外大样本临床对照试验研究比较了透明敷料与纱布在预防外周静脉导管相关感染方面的作用,结果显示透明敷料组导管的细菌定植率为5.7%,纱布组为4.6%,两组间差异无显著统计学意义[27]。Meta分析研究显示,关于透明敷料与纱布对CRBSI发生率的影响,二者间差异无统计学意义[27]。
CRBSI防控指南指出,导管穿刺部位透明敷料出现任何出汗潮湿、渗血及移动,均应及时更换;导管暂时中断时应注意封管,减少导管口的暴露;注意保护管路,应安全固定,以防留置导管滑脱。导管维护的核心内容是无菌,但临床工作中经常出现固定工作、固定时间的形式化敷料更换操作,而对于随时出现的置管敷料处渗血、潮湿等情况,未能做到及时更换,使渗血处成为细菌营养丰富的培养基,导致CRBSI的发生。经导管端口静脉操作后未及时封闭端口,使得菌落数较多的头皮部位细菌极易经导管端口侵入血液,进而导致CRBSI。上述对于导管维护形式的忽视,是造成CRBSI发生的危险因素。
CRBSI防控指南明确指出了导管接头的维护方式,强调消毒时应多方位、用力摩擦15 s和待干。研究表明,分别采用未消毒、用力摩擦5 s、用力摩擦10 s和用力摩擦15 s四种操作方法维护导管接头,经荧光效应可观察到导管接头部的细菌菌落依次明显减少[28-29]。但用力摩擦15 s这一操作看似简单却很难落实,临床工作中一般仅用棉签轻擦数秒,这种流于形式的操作可能受抢救时争分夺秒等急救因素的影响,更多源于医护人员对无菌操作内容的忽视。实际上,应用消毒液棉片或棉球对导管接头部位多方位、用力摩擦的“榨柳橙式”操作,以及导管接头与消毒液的接触时间,比消毒剂种类的选择更为重要。
1.5 导管拔除的内容与形式
导管拔除的内容为阻断感染途径,形式为导管的评估、更换及抗菌导管的使用。导管留置时间是CRBSI的独立危险因素,留置时间越长其感染率越高[30-31]。重症状态导致机体防御机制的破坏是重症医学科医院感染的根本原因,积极救治重症患者使其尽快脱离危险状态是避免和治疗CRBSI的基础。同时,尽早拔除不必要的中心静脉导管也是预防CRBSI的重要措施,但客观上难以落实“尽早拔除”理念。对于拔管时机,应实时评估导管情况,出现红、肿、热、痛、不通,或每次使用导管时患者均出现发热/发冷,应立即拔除导管,且重新置入导管时不建议在引导丝原位更换导管。在急救场景下,若无法保证无菌操作且又不能拔除导管,应立即给予经验性抗菌药物输注以作为补救措施。此外,还应关注CRRT管路的凝血管理,避免因凝血产生不必要的停机、更换管路等操作,导致更多CRBSI的发生。CRBSI防控的关键在于导管的留置和使用,严格无菌操作是预防导管感染的关键,不提倡形式化预防性定期更换中心静脉导管,形式化定期更换导管并不能预防感染,反而会因多次置管操作增加CRBSI的发生机会。对于抗感染导管的使用,指南推荐当预计置管时间超过5 d时,建议使用洗必泰/磺胺嘧啶银或四环素/利福平涂层的CVC导管(IA类推荐)[20]。相关研究证实,洗必泰涂层的CVC导管可显著降低常见耐药菌的定植,具有明显的抑菌效果[32],并可显著抑制导管生物被膜的形成,效果可持续5周,减少重症医学科内79%的CRBSI[33]。
1.6 配液输液质控的内容与形式
配液输液质控的内容是无菌配液,形式为配液方式。医院的配液中心及重症医学科的无菌配液室是配液输液质控的保障。但在临床工作中,重症医学科重症患者的紧急治疗随时出现,仍需自主配液,在药物配置过程中多次加药及穿刺均可导致微粒污染,极易发生交叉感染,经导管输注后可出现血流感染的暴发。据英国医院肿瘤科、重症医学科和透析室的研究数据显示,护士采用无菌空针从单剂量瓶溶液中抽吸药液并注射至配置的沖洗液中,其污染概率高达8%[34]。
2. 严格遵守接触隔离,完善环境清洁消毒,降低菌负荷,避免耐药菌交叉传播
多重耐药菌因习性不同,传播机制亦存在差异,主要应对方式为加强监测及严格遵守接触隔离,完善环境清洁及消毒,降低菌负荷,避免耐药菌交叉传播,以降低CRBSI防治的难度,改善患者预后。人体全身各部位均存在大量常驻菌,以腋窝处最多,其次为头发及头皮部位,常驻菌多为葡萄球菌、丙酸杆菌等。对于CRBSI的防控,还应关注如何降低菌负荷,如每日更换床单,每周更换所有被服,每周床上洗头及适度理发等。若定植菌负荷降低,即使常驻菌污染了导管,可能因菌量少而暂不发生CRBSI。
3. 合理应用抗生素,尽早启动胃肠功能,保护正常菌群
重症医学科多重耐药菌的产生存在抗生素诱导、筛选等因素。因此,抗菌药物的使用应尽可能做到合理,降低其对多重耐药菌的筛选压力,同时避免诱导新的耐药菌产生。无论是预防用药还是治疗用药,明确的指征、确切的诊断、规范的评估是精准使用抗感染药物的基础。对于突发的寒战高热,建议规范留取血培养标本并及时送检,积极进行降温处理,合理应用抗生素,避免不必要的抗生素使用进而诱导耐药菌产生,一旦发现疑似CRBSI,应立即启用具有杀菌活性的抗菌药物治疗[35]。同时,应尽早恢复胃肠功能,促进胃肠动力,维持肠道菌群平衡,避免耐药菌的筛选。需注意的是,抗感染药物的应用仅是CRBSI治疗过程的一个环节,做好医院感染防控可避免CRBSI的重复发生。
4. 积极寻找并去除感染诱因,彻底清创,充分引流
若患者感染持续存在,需考虑其他感染灶存在的可能,积极应用影像学和外科手术等方式,寻找并去除其他感染灶,彻底清创,充分引流,避免感染播散至血流,导致细菌覆着在导管端口引起CRBSI。
重症医学科感染与重症如影随形,无论起因是否源于感染,重症患者的感染问题均贯穿病程始终。没有无缘无故的感染,更没有无缘无故的重症感染,追本溯源,关注交叉感染及屏障功能破坏是关键。皮肤黏膜结构和功能的破坏是发生CRBSI的主要始动因素,而感染控制的缺失则是CRBSI发生的根本原因。重症医学科多个导管的置入和频繁使用,破坏了患者皮肤黏膜的屏障保护作用,导致CRBSI的易感性增加。故由CRBSI引发的重症感染治疗有别于其他普通感染,在应用抗菌药物治疗的同时应更多关注感染控制措施的落实,提高CRBSI引发重症感染的治愈率。需特别注意,导管穿刺造成屏障破坏并不意味着感染一定会发生,重症医学科发生CRBSI说明中心静脉导管在置管和使用过程中无菌操作存在缺陷,应针对相应操作过程查找原因。实施每项医疗护理操作均应遵循感染控制原则,重点关注CRBSI核心感染控制措施的落实情况,从而有效预防和避免CRBSI的发生。
5. 小结
面对重症医学科患者的CRBSI,医护人员应时刻进行灵魂拷问:你意识到该做什么了吗?你真的做了该做的吗?你真的做到了该做的吗?除结果导向外,CRBSI防控更应强调过程管理,通过多种方法让医疗护理操作符合既定的感染控制标准,做到知行合一。只有感染控制核心技术得到彻底落实,CRBSI的发生率才能彻底降低,甚至实现CRBSI零感染。多学科诊疗团队的共同参与和努力,管理者的重视、医护的责任心、防控意识的提升、感染控制培训的加强、防控制度的执行和监督等,优化整个感染控制过程,在临床实践中切实落实各项规范,使整个CRBSI防控形成闭环管理,实现CRBSI零感染将不是梦!
作者贡献:史乾灵、陈耀龙负责论文构思;史乾灵、刘辉负责论文初稿撰写;王子君、罗旭飞、王冰怡、杨楠负责论文修订;陈耀龙和孟文勃负责研究指导和论文审校。利益冲突:所有作者均声明不存在利益冲突 -
表 1 GRADE分级系统中证据质量与推荐强度的含义[4, 6]
Table 1 Quality of evidence and strength of recommendations in GRADE system[4, 6]
指标 具体描述 表达符号 证据质量 高 非常有把握观察值接近真实值 A 中 对观察值有中等把握:观察值有可能接近真实值,但也有可能差别很大 B 低 对观察值的把握有限:观察值可能与真实值有很大差别 C 极低 对观察值几乎没有把握:观察值与真实值极可能有极大差别 D 推荐强度 强* 明确显示实施某项推荐意见利大于弊或弊大于利 1 弱** 实施某项推荐意见的利弊不确定,或无论质量高低的证据均显示利弊相当 2 *包括强推荐和强不推荐;* *包括弱推荐和弱不推荐;GRADE(Grading of Recommendations Assessment, Development, and Evaluation):推荐分级的评估、制订与评价 表 2 各领域临床实践指南和系统评价中不同证据质量的比例[17-38]
Table 2 Quality of evidence in clinical practice guidelines and systematic reviews across different areas[17-38]
领域 高质量证据(%) 中等质量证据(%) 低质量证据(%) 极低质量证据(%) 临床实践指南(n=9) 幽门螺杆菌感染 34.26 26.73 21.98 17.03 胃肠病 24.70 34.26 32.67 8.37 结直肠癌筛查 14.47 34.21 51.32 0 综合(NCEC指南) 13.81 23.20 25.97 37.02 综合(WHO指南) 11.84 21.93 34.65 31.58 重症医学 10.91 29.16 34.37 25.55 康复 10.26 30.77 38.46 20.51 传染病 9.31 33.69 48.56 8.45 银屑病性关节炎 0 11.25 38.75 50.00 系统评价(n=13) 干预类(Cochrane)* 13.49 30.76 31.74 24.01 干预类(Cochrane)# 12.06 30.12 34.01 23.80 麻醉、重症监护和急诊医学(Cochrane) 10.68 33.98 40.78 14.56 公共卫生 9.91 24.32 25.23 40.54 干预类† 4.14 11.62 32.40 51.83 雷公藤多苷治疗糖尿病肾病 4.11 17.81 41.10 36.99 口腔健康 2.20 21.98 47.25 28.57 丹参酮ⅡA磺酸钠注射液治疗冠心病 0.00 36.36 21.21 42.42 中药治疗银屑病 0 33.33 35.56 31.11 中医护理 0 22.58 64.52 12.90 急性肾损伤 0 8.64 40.74 50.62 中药治疗偏头痛 0 1.45 18.84 79.71 针灸治疗乳腺癌相关淋巴水肿 0 0 61.54 38.46 NCEC(National Clinical Effectiveness Committee):爱尔兰国家临床有效性委员会;WHO(World Health Organization):世界卫生组织;*纳入Cochrane协作网发布的1394篇与医疗或健康干预有关的系统评价;#纳入Cochrane协作网发布的2428篇干预类系统评价;†纳入76篇发表于Ann Intern Med、BMJ、JAMA、Pediatrics等杂志的干预类系统评价 表 3 主要指南制订手册关于从证据到推荐的一般要求和对低质量证据的考虑
Table 3 Considerations for evidence to recommendation and low-quality evidence in main guideline development manuals
组织 从证据到推荐的一般要求 关于低质量证据的描述 WHO[44] 每个关键问题均需进行系统评价,使用GRADE方法评估每个重要结局指标的证据质量,并确定证据的总体质量。在形成推荐意见时,证据质量、价值观与偏好、利弊平衡和资源影响是决定其方向和强度的主要因素,其他因素还包括可接受性、可实施性、公平性等 强推荐在指南中并不常见;当利弊不确定时,可考虑形成有条件的推荐或弱推荐;特殊情况下可能因证据不足而不作出推荐。若无可用的证据,应明确说明证据缺乏,并将病例报告和国家或个人经验汇编作为形成推荐意见的基础,并明确记录过程及其局限性 NICE[45] 识别和选择相关证据时需进行系统检索,使用GRADE或GRADE-CERQual方法评估各结局指标的证据质量。若使用其他方法,需相关人员讨论和同意,并说明原因。形成推荐意见时需同时考虑证据的总体质量、利弊平衡、成本效益、可实施性、公平性等各种因素 证据不充分时(如无证据、证据质量太低,或无法得出确切结论),委员会可考虑如下选择:(1)基于共识形成推荐;(2)形成对未来研究的建议,包括在指南制订中识别的证据不确定性或研究空白;(3)不形成推荐,该方式慎用 GIN[46] 通过系统评价总结每个重要结局指标的最佳证据。也可不制作系统评价,但需提供解释。使用分级工具(如GRADE、美国预防服务工作组的分级标准等)评估每个重要结局指标的证据质量和证据的总体质量。对影响推荐意见形成的其他因素也要进行总结,如价值观与偏好、必要性、公平性、可行性及资源利用等 当证据不充分或质量极低时,在形成推荐意见时应做好准备,如弱推荐的判断依据应透明。若指南制订者认为作出错误决策的风险很大,可不形成推荐意见;在新的研究出现前,应指出目前的推荐是基于当前研究的最佳方案 IOM[1] 无论证据是否充足,指南工作组均应遵循严格透明的步骤,汇总当前可得的所有研究证据,对其数量、质量和一致性进行描述,提供证据质量分级结果,明确证据空白,同时考虑价值观与偏好、利弊平衡、成本等其他因素 当指南小组确信实施某项措施利大于弊或弊大于利时,基于低或极低质量证据有可能形成强推荐,但这种情况并不常见。利弊平衡通常十分复杂或很难确定,面对低或极低质量,甚至高质量证据,都可能形成弱推荐 SIGN[47] 对于需要解决的每个关键问题,均应对证据进行系统检索,使用GRADE方法评估每个关键问题的证据体质量。使用EtD框架形成推荐意见,并考虑价值观与偏好、资源可及性、公平性、成本等其他有可能影响推荐意见的因素 以下4种情况应形成弱推荐:(1)证据基础薄弱;(2)对观察值的把握有限;(3)需要平衡利弊;(4)患者接受度不同。当缺乏证据时可考虑形成GPP。若工作组认为有必要形成推荐,可基于极低质量证据形成弱推荐,但必须有来自工作组之外的证据支持。若不存在此类证据,应通过正式的方法形成基于共识的建议(consensus-based recommendation) 中华医学会[48] 推荐意见的形成需基于系统评价的证据,可在评估质量和时效性后使用已发表的系统评价,也可重新制作。推荐使用GRADE方法对证据体的质量和推荐意见强度进行分级。使用EtD框架形成推荐意见,既要基于当前可得的最佳研究证据,也要综合考虑资源利用、价值观与偏好、公平性等多方面因素 当证据质量低或缺乏直接证据时,需考虑专家意见和专家证据在其中发挥的作用 NICE(National Institute for Health and Care Excellence):英国国家卫生与临床优化研究所;GIN(Guidelines International Network):国际指南联盟;IOM(Institute of Medicine):原美国医学科学院;SIGN(Scottish Intercollegiate Guidelines Network):苏格兰学会联合指南网络;EtD(evidence to decision):证据到推荐;GPP(good practice points):良好实践声明;WHO:同表 2;GRADE:同表 1 表 4 GRADE分级系统中基于低或极低质量证据形成强推荐的5种情况[20, 56]
Table 4 Paradigmatic situations in which a strong recommendation may be made based on low or very low certainty evidence[20, 56]
序号 具体情况 示例 1 危及生命(或灾难性)的情况下,低质量证据表明某种措施可能降低死亡率(有关危害的证据可能很低或很高) 两性霉素与伊曲康唑用于治疗威胁生命的播散性芽生菌病患者。高质量证据表明两性霉素产生的毒性比伊曲康唑更大,但低质量证据表示两性霉素在此情形下可降低病死率。考虑到危及生命的情况,指南制订小组强推荐使用两性霉素 2 低或极低质量证据表明某种措施不确定是否获益,但中等或高质量证据表明该措施有害或成本很高 行手术治疗的白内障患者可接受球后麻醉或局部麻醉。低质量证据显示,球后麻醉较局部麻醉具有更多益处,如降低术中小韧带撕裂、虹膜脱垂的风险和手术疼痛等。但高质量证据表明,球后麻醉会带来严重危害,包括球结膜水肿、眶周血肿,甚至产生危及生命的并发症。考虑到这一情况,指南制订小组强推荐白内障手术患者采取局麻替代球后麻醉 3 低质量证据表明备选方案的获益大小相似,但高质量证据表明其中一种危害更小或成本更低 黏膜相关淋巴组织淋巴瘤患者存在幽门螺杆菌感染,通常行放射或胃切除术治疗。低质量证据表明,使用抗生素治疗幽门螺杆菌与放射或胃切除术具有相似的完全缓解率。同时高质量证据表明,抗生素可明显减少危害、降低发病率和成本。故指南强推荐此类患者使用抗生素根除幽门螺杆菌,而不是进行放疗或胃切除 4 高质量证据表明备选方案的获益大小相似,但低质量证据表明其中一种危害更大或成本更高 亚临床甲状腺功能减退症患者能否从甲状腺激素治疗中获益尚不确定。中等至高质量证据表明,无论是否服用激素,患者在甲状腺相关症状和生活质量方面的改善是相似的,但低质量证据表明,服用激素并非无害。故指南强推荐不为此类成人患者提供甲状腺激素治疗 5 某项措施不确定是否获益,或高质量证据表明中等获益,但低或极低质量证据表明可能会发生灾难性的危害 对于前列腺癌患者或有前列腺癌风险的男性,高质量证据表明睾酮对改善患者的骨矿物质密度和肌肉力量有中等效益;但低质量证据表明,睾酮同时会造成伤害(如增加癌细胞转移风险)。故指南强推荐前列腺癌患者不应服用睾酮治疗 GRADE:同表 1 -
[1] Institute of Medicine. Clinical practice guidelines we can trust[M]. Washington, D.C.: The National Academies Press, 2011.
[2] Mc Allister M, Florez I D, Stoker S, et al. Advancing guideline quality through country-wide and regional quality assessment of CPGs using AGREE: a scoping review[J]. BMC Med Res Methodol, 2023, 23(1): 283. DOI: 10.1186/s12874-023-02101-5
[3] Zhou Q, Wang Z J, Shi Q L, et al. Clinical epidemiology in China series. Paper 4: the reporting and methodological quality of Chinese clinical practice guidelines published between 2014 and 2018: a systematic review[J]. J Clin Epidemiol, 2021, 140: 189-199. DOI: 10.1016/j.jclinepi.2021.08.013
[4] Guyatt G H, Oxman A D, Vist G E, et al. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations[J]. BMJ, 2008, 336(7650): 924-926. DOI: 10.1136/bmj.39489.470347.AD
[5] 周奇, 董冲亚, 王业明, 等. 循证医学理念在指导临床研究与实践中的作用: 基于对抗病毒药物治疗新型冠状病毒肺炎的思考[J]. 中国循证医学杂志, 2022, 22(4): 373-379. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ202204001.htm Zhou Q, Dong C Y, Wang Y M, et al. The role of evidence-based medicine in guiding clinical research and practice: expert opinion based on studies on antiviral drugs for the treatment of COVID-19[J]. Chin J Evid-based Med, 2022, 22(4): 373-379. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ202204001.htm
[6] Guyatt G, Oxman A D, Akl E A, et al. GRADE guidelines: 1. Introduction-GRADE evidence profiles and summary of findings tables[J]. J Clin Epidemiol, 2011, 64(4): 383-394. DOI: 10.1016/j.jclinepi.2010.04.026
[7] Andrews J, Guyatt G, Oxman A D, et al. GRADE guidelines: 14. Going from evidence to recommendations: the significance and presentation of recommendations[J]. J Clin Epidemiol, 2013, 66(7): 719-725. DOI: 10.1016/j.jclinepi.2012.03.013
[8] Guyatt G H, Oxman A D, Vist G, et al. GRADE guidelines: 4. Rating the quality of evidence--study limitations (risk of bias)[J]. J Clin Epidemiol, 2011, 64(4): 407-415. DOI: 10.1016/j.jclinepi.2010.07.017
[9] Amstutz A, Speich B, Mentré F, et al. Effects of remdesivir in patients hospitalised with COVID-19: a systematic review and individual patient data meta-analysis of randomised controlled trials[J]. Lancet Respir Med, 2023, 11(5): 453-464. DOI: 10.1016/S2213-2600(22)00528-8
[10] Beigel J H, Tomashek K M, Dodd L E, et al. Remdesivir for the treatment of covid-19 - final report[J]. N Engl J Med, 2020, 383(19): 1813-1826. DOI: 10.1056/NEJMoa2007764
[11] Wang Y M, Zhang D Y, Du G H, et al. Remdesivir in adults with severe COVID-19: a randomised, double-blind, placebo-controlled, multicentre trial[J]. Lancet, 2020, 395(10236): 1569-1578. DOI: 10.1016/S0140-6736(20)31022-9
[12] Jacobson R M, Pignolo R J, Lazaridis K N. Clinical trials for special populations: children, older adults, and rare diseases[J]. Mayo Clin Proc, 2024, 99(2): 318-335. DOI: 10.1016/j.mayocp.2023.03.003
[13] Hanlon P, Hannigan L, Rodriguez-Perez J, et al. Representation of people with comorbidity and multimorbidity in clinical trials of novel drug therapies: an individual-level participant data analysis[J]. BMC Med, 2019, 17(1): 201. DOI: 10.1186/s12916-019-1427-1
[14] 陈耀龙, 杨克虎. 正确理解、制订和使用临床实践指南[J]. 协和医学杂志, 2018, 9(4): 367-373. DOI: 10.3969/j.issn.1674-9081.2018.04.015 Chen Y L, Yang K H. How to correctly understand, develop, and apply clinical practice guidelines[J]. Med J PUMCH, 2018, 9(4): 367-373. DOI: 10.3969/j.issn.1674-9081.2018.04.015
[15] Liu E M, Smyth R L, Luo Z X, et al. Rapid advice guidelines for management of children with COVID-19[J]. Ann Transl Med, 2020, 8(10): 617. DOI: 10.21037/atm-20-3754
[16] Lamontagne F, Fowler R A, Adhikari N K, et al. Evidence-based guidelines for supportive care of patients with Ebola virus disease[J]. Lancet, 2018, 391(10121): 700-708. DOI: 10.1016/S0140-6736(17)31795-6
[17] Ou J Y, Li J Y, Liu Y, et al. Quality appraisal of clinical guidelines for Helicobacter pylori infection and systematic analysis of the level of evidence for recommendations[J]. PLoS One, 2024, 19(4): e0301006. DOI: 10.1371/journal.pone.0301006
[18] Murayama A, Kamamoto S, Murata N, et al. Evaluation of financial conflicts of interest and quality of evidence in Japanese gastroenterology clinical practice guidelines[J]. J Gastroenterol Hepatol, 2023, 38(4): 565-573. DOI: 10.1111/jgh.16089
[19] Weissman S, Goldowsky A, Aziz M, et al. Colorectal cancer screening guidelines are primarily based on low-moderate-quality evidence[J]. Dig Dis Sci, 2021, 66(12): 4208-4219. DOI: 10.1007/s10620-020-06755-9
[20] Chong M C, Sharp M K, Smith S M, et al. Strong recommendations from low certainty evidence: a cross-sectional analysis of a suite of national guidelines[J]. BMC Med Res Methodol, 2023, 23(1): 68. DOI: 10.1186/s12874-023-01895-8
[21] Alexander P E, Bero L, Montori V M, et al. World Health Organization recommendations are often strong based on low confidence in effect estimates[J]. J Clin Epidemiol, 2014, 67(6): 629-634. DOI: 10.1016/j.jclinepi.2013.09.020
[22] Zhang Z H, Hong Y C, Liu N. Scientific evidence underlying the recommendations of critical care clinical practice guidelines: a lack of high level evidence[J]. Intensive Care Med, 2018, 44(7): 1189-1191. DOI: 10.1007/s00134-018-5142-8
[23] 周奇, 王玲, 杨楠, 等. 基于GRADE康复临床实践指南证据质量与推荐强度研究[J]. 中国康复理论与实践, 2020, 26(2): 156-160. https://www.cnki.com.cn/Article/CJFDTOTAL-ZKLS202002006.htm Zhou Q, Wang L, Yang N, et al. Quality of evidence and strength of recommendations of clinical practice guidelines of rehabilitation based on GRADE[J]. Chin J Rehabil Theory Pract, 2020, 26(2): 156-160. https://www.cnki.com.cn/Article/CJFDTOTAL-ZKLS202002006.htm
[24] Miles K E, Rodriguez R, Gross A E, et al. Strength of recommendation and quality of evidence for recommendations in current Infectious Diseases Society of America guidelines[J]. Open Forum Infect Dis, 2021, 8(2): ofab033. DOI: 10.1093/ofid/ofab033
[25] Mamada H, Murayama A, Kamamoto S, et al. Evaluation of financial and nonfinancial conflicts of interest and quality of evidence underlying psoriatic arthritis clinical practice guidelines: analysis of personal payments from pharmaceutical companies and authors' self-citation rate in Japan and the United States[J]. Arthritis Care Res (Hoboken), 2023, 75(6): 1278-1286. DOI: 10.1002/acr.25032
[26] Fleming P S, Koletsi D, Ioannidis J P A, et al. High quality of the evidence for medical and other health-related interventions was uncommon in Cochrane systematic reviews[J]. J Clin Epidemiol, 2016, 78: 34-42. DOI: 10.1016/j.jclinepi.2016.03.012
[27] Howick J, Koletsi D, Ioannidis J P A, et al. Most healthcare interventions tested in Cochrane reviews are not effective according to high quality evidence: a systematic review and meta-analysis[J]. J Clin Epidemiol, 2022, 148: 160-169. DOI: 10.1016/j.jclinepi.2022.04.017
[28] Conway A, Conway Z, Soalheira K, et al. High quality of evidence is uncommon in Cochrane systematic reviews in anaesthesia, critical care and emergency medicine[J]. Eur J Anaesthesiol, 2017, 34(12): 808-813. DOI: 10.1097/EJA.0000000000000691
[29] Xun Y Q, Guo Q Q, Ren M J, et al. Characteristics of the sources, evaluation, and grading of the certainty of evidence in systematic reviews in public health: a methodological study[J]. Front Public Health, 2023, 11: 998588. DOI: 10.3389/fpubh.2023.998588
[30] Kane R L, Butler M, Ng W. Examining the quality of evidence to support the effectiveness of interventions: an analysis of systematic reviews[J]. BMJ Open, 2016, 6(5): e011051. DOI: 10.1136/bmjopen-2016-011051
[31] Shi H S, Deng P, Dong C D, et al. Quality of evidence supporting the role of tripterygium glycosides for the treatment of diabetic kidney disease: an overview of systematic reviews and meta-analyses[J]. Drug Des Devel Ther, 2022, 16: 1647-1665. DOI: 10.2147/DDDT.S367624
[32] Pandis N, Fleming P S, Worthington H, et al. The quality of the evidence according to GRADE is predominantly low or very low in oral health systematic reviews[J]. PLoS One, 2015, 10(7): e0131644. DOI: 10.1371/journal.pone.0131644
[33] Peng L F, Fan M X, Li J H, et al. Evidence quality assessment of sodium tanshinone IIA sulfonate injection intervention coronary heart disease angina pectoris: an overview of systematic reviews and meta-analyses[J]. Medicine (Baltimore), 2023, 102(44): e35509. DOI: 10.1097/MD.0000000000035509
[34] Zhang J, Yu Q Y, Peng L, et al. Benefits and safety of Chinese herbal medicine in treating psoriasis: an overview of systematic reviews[J]. Front Pharmacol, 2021, 12: 680172. DOI: 10.3389/fphar.2021.680172
[35] Jin Y H, Wang G H, Sun Y R, et al. A critical appraisal of the methodology and quality of evidence of systematic reviews and meta-analyses of traditional Chinese medical nursing interventions: a systematic review of reviews[J]. BMJ Open, 2016, 6(11): e011514. DOI: 10.1136/bmjopen-2016-011514
[36] Kong Y K, Wei X Q, Duan L, et al. Rating the quality of evidence: the GRADE system in systematic reviews/meta-analyses of AKI[J]. Ren Fail, 2015, 37(7): 1089-1093.
[37] Fu G J, Fan X M, Liang X, et al. An overview of systematic reviews of Chinese herbal medicine in the treatment of migraines[J]. Front Pharmacol, 2022, 13: 924994. DOI: 10.3389/fphar.2022.924994
[38] Wang L, Du X Y, Hu P, et al. Quality of evidence supporting the role of acupuncture for breast cancer-related lymphoedema: an overview of systematic reviews and meta-analyses[J]. J Cancer Res Clin Oncol, 2023, 149(18): 16669-16678. DOI: 10.1007/s00432-023-05419-1
[39] Brouwers M C, Kho M E, Browman G P, et al. AGREE Ⅱ: advancing guideline development, reporting and evaluation in health care[J]. CMAJ, 2010, 182(18): E839-E842. DOI: 10.1503/cmaj.090449
[40] Chen Y L, Yang K H, Maru ic A, et al. A reporting tool for practice guidelines in health care: the RIGHT statement[J]. Ann Intern Med, 2017, 166(2): 128-132. DOI: 10.7326/M16-1565
[41] Yang N, Liu H, Zhao W, et al. Development of the scientific, transparent and applicable rankings (STAR) tool for clinical practice guidelines[J]. Chin Med J (Engl), 2023, 136(12): 1430-1438. DOI: 10.1097/CM9.0000000000002713
[42] 中华医学会杂志社指南与标准研究中心, 中国医学科学院循证评价与指南研究创新单元(2021RU017), 世界卫生组织指南实施与知识转化合作中心, 等. 2022年医学期刊发表中国指南和共识的科学性、透明性和适用性的评级[J]. 中华医学杂志, 2023, 103(37): 2912-2920. DOI: 10.3760/cma.j.cn112137-20230724-00076 Guidelines and Standards Research Center Chinese Medical Association Publishing House, Research Unit of Evidence-Based Evaluation and Guidelines (2021RU017), Chinese Academy of Medical Sciences, WHO Collaborating Centre for Guideline Implementation and Knowledge Translation, et al. Evaluation and ranking for scientific, transparent and applicable of Chinese guidelines and consensus published in the medical journals in 2022[J]. Natl Med J China, 2023, 103(37): 2912-2920. DOI: 10.3760/cma.j.cn112137-20230724-00076
[43] Barker T H, Dias M, Stern C, et al. Guidelines rarely used GRADE and applied methods inconsistently: a methodo-logical study of Australian guidelines[J]. J Clin Epidemiol, 2021, 130: 125-134. DOI: 10.1016/j.jclinepi.2020.10.017
[44] World Health Organization. WHO handbook for guideline development[M]. 2nd ed. Geneva: WHO Press, 2014.
[45] National Institute for Health and Care Excellence. Developing NICE guidelines: the manual[M/OL ]. London: National Institute for Health and Care Excellence, 2024(2024-01-17)[2024-04-02]. https://www.nice.org.uk/process/pmg20/resources/developing-nice-guidelines-the-manual-pdf-72286708700869.
[46] Guidelines International Network, McMaster University. GIN-McMaster guideline development checklist[M/OL]. [2024-04-02 ]. https://macgrade.mcmaster.ca/resources/gin-mcmaster-guideline-development-checklist/.
[47] Scottish Intercollegiate Guidelines Network (SIGN). A guideline developer's handbook[M/OL]. [2024-04-02]. https://www.sign.ac.uk.
[48] 陈耀龙, 杨克虎, 王小钦, 等. 中国制订/修订临床诊疗指南的指导原则(2022版)[J]. 中华医学杂志, 2022, 102(10): 697-703. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGUD202210051.htm Chen Y L, Yang K H, Wang X Q, et al. Guiding principles for developing and updating Chinese diagnosis and treatment guidelines(version 2022)[J]. Natl Med J China, 2022, 102(10): 697-703. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGUD202210051.htm
[49] Alonso-Coello P, Schünemann H J, Moberg J, et al. GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 1: Introduction[J]. BMJ, 2016, 353: i2016.
[50] Guyatt G H, Oxman A D, Kunz R, et al. GRADE guidelines: 2. Framing the question and deciding on important outcomes[J]. J Clin Epidemiol, 2011, 64(4): 395-400. DOI: 10.1016/j.jclinepi.2010.09.012
[51] Guyatt G, Oxman A D, Sultan S, et al. GRADE guidelines: 11. Making an overall rating of confidence in effect estimates for a single outcome and for all outcomes[J]. J Clin Epidemiol, 2013, 66(2): 151-157. DOI: 10.1016/j.jclinepi.2012.01.006
[52] Guyatt G H, Oxman A D, Kunz R, et al. What is "quality of evidence" and why is it important to clinicians?[J]. BMJ, 2008, 336(7651): 995-998. DOI: 10.1136/bmj.39490.551019.BE
[53] Karanicolas P J, Davies E, Kunz R, et al. The pylorus: take it or leave it? Systematic review and meta-analysis of pylorus-preserving versus standard whipple pancreaticoduodenectomy for pancreatic or periampullary cancer[J]. Ann Surg Oncol, 2007, 14(6): 1825-1834. DOI: 10.1245/s10434-006-9330-3
[54] Guyatt G H, Oxman A D, Schünemann H J, et al. GRADE guidelines: a new series of articles in the Journal of Clinical Epidemiology[J]. J Clin Epidemiol, 2011, 64(4): 380-382. DOI: 10.1016/j.jclinepi.2010.09.011
[55] 杨克虎, 陈耀龙, 孙凤, 等. GRADE在系统评价和实践指南中的应用[M]. 第2版. 北京: 中国协和医科大学出版社, 2021: 3. Yang K H, Chen Y L, Sun F, et al. The application of GRADE in systematic reviews and practice guidelines[M]. 2nd ed. Beijing: Peking Union Medical College Press, 2021: 3.
[56] Andrews J C, Schünemann H J, Oxman A D, et al. GRADE guidelines: 15. Going from evidence to recommendation-determinants of a recommendation's direction and strength[J]. J Clin Epidemiol, 2013, 66(7): 726-735. DOI: 10.1016/j.jclinepi.2013.02.003
[57] Bautista-Orduno K G, Dorsey-Trevino E G, Gonzalez-Gonzalez J G, et al. American Thyroid Association guidelines are inconsistent with grading of recommendations assess-ment, development, and evaluations-a meta-epidemiologic study[J]. J Clin Epidemiol, 2020, 123: 180-188. e2. DOI: 10.1016/j.jclinepi.2020.02.010
[58] 谢方瑜, 孙秀杰, 芦秀燕, 等. 低质量证据强推荐意见在中国护理实践指南中的现状分析[J]. 护理学报, 2021, 28(20): 39-43. https://www.cnki.com.cn/Article/CJFDTOTAL-NFHL202120007.htm Xie F Y, Sun X J, Lu X Y, et al. Current status of recommendation of low-quality evidence in Chinese nursing practice guidelines[J]. J Nurs, 2021, 28(20): 39-43. https://www.cnki.com.cn/Article/CJFDTOTAL-NFHL202120007.htm
[59] Alexander P E, Brito J P, Neumann I, et al. World Health Organization strong recommendations based on low-quality evidence (study quality) are frequent and often inconsistent with GRADE guidance[J]. J Clin Epidemiol, 2016, 72: 98-106. DOI: 10.1016/j.jclinepi.2014.10.011
[60] Yao L, Ahmed M M, Guyatt G H, et al. Discordant and inappropriate discordant recommendations in consensus and evidence based guidelines: empirical analysis[J]. BMJ, 2021, 375: e066045.
[61] Yao L, Guyatt G H, Djulbegovic B. Can we trust strong recommendations based on low quality evidence?[J]. BMJ, 2021, 375: n2833.
[62] Meneses-Echavez J F, Bidonde J, Montesinos-Guevara C, et al. Using evidence to decision frameworks led to guidelines of better quality and more credible and transparent recommendations[J]. J Clin Epidemiol, 2023, 162: 38-46. DOI: 10.1016/j.jclinepi.2023.07.013
[63] Lund H, Brunnhuber K, Juhl C, et al. Towards evidence based research[J]. BMJ, 2016, 355: i5440.
[64] 刘辉, 兰慧, 赵思雅, 等. 2019年期刊公开发表的中国临床实践指南文献调查与评价: 研究空白[J]. 协和医学杂志, 2022, 13(3): 498-505. https://www.cnki.com.cn/Article/CJFDTOTAL-XHYX202203022.htm Liu H, Lan H, Zhao S Y, et al. Investigation and evaluation of Chinese clinical practice guidelines published in medical journals in 2019: research gaps[J]. Med J PUMCH, 2022, 13(3): 498-505. https://www.cnki.com.cn/Article/CJFDTOTAL-XHYX202203022.htm
[65] WHO. WHO guideline for complementary feeding of infants and young children 6-23 months of age[M]. Geneva: World Health Organization, 2023.
-
期刊类型引用(1)
1. 毛铭阳,苏童,冯国栋,田旭,徐振潭,陈钰,张竹花,高志强,金征宇. 磁共振脑容积成像对颈静脉球瘤脑膜侵犯的诊断价值. 临床放射学杂志. 2022(04): 612-617 . 百度学术
其他类型引用(0)