中国科学引文数据库收录期刊的系统评价/Meta分析文献方法学质量评价

刘辉, 苏仁凤, 石安娅, 姚媛媛, 周奇, 王子君, 铁锐, 卢梦颖, 张豪, 孙浩楠, 赵俊贤, 赵思雅, 杨克虎, 刘兴荣, 陈耀龙

刘辉, 苏仁凤, 石安娅, 姚媛媛, 周奇, 王子君, 铁锐, 卢梦颖, 张豪, 孙浩楠, 赵俊贤, 赵思雅, 杨克虎, 刘兴荣, 陈耀龙. 中国科学引文数据库收录期刊的系统评价/Meta分析文献方法学质量评价[J]. 协和医学杂志, 2023, 14(2): 390-398. DOI: 10.12290/xhyxzz.2022-0317
引用本文: 刘辉, 苏仁凤, 石安娅, 姚媛媛, 周奇, 王子君, 铁锐, 卢梦颖, 张豪, 孙浩楠, 赵俊贤, 赵思雅, 杨克虎, 刘兴荣, 陈耀龙. 中国科学引文数据库收录期刊的系统评价/Meta分析文献方法学质量评价[J]. 协和医学杂志, 2023, 14(2): 390-398. DOI: 10.12290/xhyxzz.2022-0317
LIU Hui, SU Renfeng, SHI Anya, YAO Yuanyuan, ZHOU Qi, WANG Zijun, TIE Rui, LU Mengying, ZHANG Hao, SUN Haonan, ZHAO Junxian, ZHAO Siya, YANG Kehu, LIU Xingrong, CHEN Yaolong. Methodological Quality Analysis of Systematic Review/Meta-analysis Published in Chinese Science Citation Database Journals[J]. Medical Journal of Peking Union Medical College Hospital, 2023, 14(2): 390-398. DOI: 10.12290/xhyxzz.2022-0317
Citation: LIU Hui, SU Renfeng, SHI Anya, YAO Yuanyuan, ZHOU Qi, WANG Zijun, TIE Rui, LU Mengying, ZHANG Hao, SUN Haonan, ZHAO Junxian, ZHAO Siya, YANG Kehu, LIU Xingrong, CHEN Yaolong. Methodological Quality Analysis of Systematic Review/Meta-analysis Published in Chinese Science Citation Database Journals[J]. Medical Journal of Peking Union Medical College Hospital, 2023, 14(2): 390-398. DOI: 10.12290/xhyxzz.2022-0317

中国科学引文数据库收录期刊的系统评价/Meta分析文献方法学质量评价

基金项目: 

中央高校基本科研业务费专项资金 lzujbky-2021-ey13

中国医学科学院医学与健康科技创新工程-循证评价与指南研究创新单元 2021RU017

兰州大学“一带一路”专项经费 

详细信息
    通讯作者:

    刘兴荣, E-mail: liuxr@lzu.edu.cn

    陈耀龙, E-mail: chevidence@lzu.edu.cn

    刘辉、苏仁凤对本文同等贡献

  • 中图分类号: R181.2

Methodological Quality Analysis of Systematic Review/Meta-analysis Published in Chinese Science Citation Database Journals

Funds: 

Fundamental Research Funds for the Central Universities lzujbky-2021-ey13

CAMS Innovation Fund for Medical Sciences- Research Unit of Evidence-based Evaluation and Guidelines 2021RU017

Lanzhou University "Belt and Road Initiative" Special Fund 

More Information
  • 摘要:
      目的  评价中国科学引文数据库(Chinese Science Citation Database,CSCD)收录期刊2020年发表的系统评价/Meta分析(systematic review/meta analysis,SR/MA)文献的方法学质量,旨在为我国研究人员制作SR/MA提供建议,为编辑和审稿专家审阅SR/MA提供参考。
      方法  以CSCD收录的中华医学会杂志社系列期刊为样本形成期刊列表。4名研究人员两两分组独立进行手动检索,纳入期刊发表于2020年的SR/MA文献,1名研究人员在中国知网进行补充检索。研究人员两两分组对纳入的研究进行独立筛选和信息提取,使用AMSTAR 2(A Measurement Tool to Assess Systematic Reviews 2,AMSTAR 2)评价工具进行方法学质量评价并对评价结果进行统计学分析。
      结果  共79本中华医学会杂志社系列期刊被CSCD收录,其中46本期刊在2020年发表SR/MA文献,按照纳入和排除标准进行筛选,共纳入126篇SR/MA文献。AMSTAR 2评价结果显示,SR/MA文献的平均得分为(10.38±1.91)分;9个条目的符合/部分符合比例在70%以上;SR/MA至少符合/部分符合5个AMSTAR 2条目,最多符合/部分符合12个条目;关键条目未调整前超过90%的SR/MA可信度分级为“极低”,结合国内实际情况调整关键条目后,分别有约40%的SR/MA可信度分级为“中”和“低”;分层分析结果显示,是否使用GRADE分级、是否遵循PRISMA声明、作者数量是否>5、发表语种是否不同、纳入研究类型是否包括随机对照试验和是否报告资金资助均不是SR/MA方法学质量的影响因素。
      结论  CSCD收录期刊2020年发表的SR/MA文献方法学质量仍有待提高,未来应重点关注SR/MA的注册、检索、纳入和排除标准及资金资助等问题,以切实提高SR/MA的方法学质量。
    Abstract:
      Objective  To evaluate the methodological quality of systematic review/meta analysis (SR/MA) published in Chinese Science Citation Database (CSCD) journals in 2020, with the aim of providing suggestions for researchers in China to develop SR/MA and reference for editors and reviewers to review SR/MA.
      Methods  The list of journals was formed with a sample of journals published by the Chinese Medical Association Publishing House and included in CSCD. Four researchers working in pairs conducted independently manual searches on the official websites of the journals to include SR/MA published in 2020, and one researcher conducted a supplementary search on China National Knowledge Infrastructure. After identifying the included literature, the researchers worked in pairs to extract information independently, evaluated methodological quality by using AMSTAR 2(A Measurement Tool to Assess Systematic Reviews 2) and performed statistical analysis of the results.
      Results  A total of 79 journals from the Chinese Medical Association Publishing House were included in CSCD, 46 of which published SR/MA in 2020, and 126 SR/MA were included for analysis after screening according to inclusion and exclusion criteria. AMSTAR 2 evaluation results showed that the average score of SR/MA was 10.38±1.91. The scored proportion of 9 items was more than 70%. SR/MA met partially/met a minimum of 5 AMSTAR 2 items and a maximum of 12 items. Before the key items were adjusted, over 90% of SR/MA's credibility rating was critically low. After adjusting the key items according to the actual Chinese situation, about 40% of SR/MA's credibility rating was medium and low, respectively. The results of the stratified analysis showed that the use of GRADE, adherence to the PRISMA statement, the number of authors greater than 5, the language of publication, the type of included studies including RCTs, and the reporting of funding were not factors that influenced the methodological quality of SR/MA.
      Conclusions  The methodological quality of SR/MA published in CSCD journals in 2020 need to improve. Attention should be paid to the registration, retrieval, inclusion and exclusion criteria of SR/MA as well as financial support, so as to effectively improve the quality of SR/MA.
  • 循证实践的前提是对现有证据的全面综合[1],而系统评价/Meta分析(systematic review/meta analysis,SR/MA)作为证据综合方法之一,可以全面、客观地呈现证据,同时还可以解决研究中的分歧、提升研究价值、避免重复研究,为临床实践指南提供依据[2-3]。近年来,随着SR/MA认可度的增加[4],其发表数量也越来越多[5],目前已成为临床研究论文引用最多的研究类型[6]Lancet曾指出,作者应通过直接引用已有的SR/MA,解释现有证据与新证据之间的关系[7]。然而,SR/MA能否真正惠及利益相关者还取决于其方法学质量,若SR/MA存在方法学缺陷,则可能会使决策者使用时受限[8]

    近年来,中国学者为评估SR/MA的方法学质量开展了多项研究[9-11]。但这些研究大多针对某一领域或某本期刊,难以反映国内最新发表的SR/MA方法学质量[12]。中华医学会杂志社作为当前国内最大且最具影响力的医学专业杂志社,具有国内医药卫生领域数量最多、影响力最大和权威性最强的医学期刊集群[13]。基于此,本研究以被中国科学引文数据库(Chinese Science Citation Database,CSCD)收录的中华医学会主办期刊在2020年度发表的SR/MA文献为样本,对其方法学质量进行分析,旨在为研究人员制作SR/MA提供建议,为编辑和审稿专家审阅SR/MA提供参考。

    纳入标准:(1)研究类型:SR/MA(题目中包含“系统评价”“系统综述”“荟萃分析”或“Meta分析”);(2)文献发表期刊:CSCD收录期刊(国内医学领域CSCD收录期刊数量众多,本研究选取中华医学会主办的CSCD收录期刊为样本);(3)文献发表时间:2020年1月1日—2020年12月31日。

    排除标准[14]:(1)先进行病例报告再进行系统评价的文献;(2)网状Meta分析;(3)诊断性试验系统评价;(4)译文类文献;(5)SR/MA纳入研究为非原始研究,如针对指南、药物试验方案、教学模式等的系统评价。

    在CSCD来源期刊列表(http://sciencechina.cn/style/sourcelist19_20.pdf)检索中华医学会杂志社系列期刊一览表(http://www.cmaph.org/xlqkylb/in-dex.do)中的所有期刊,以其为样本形成期刊列表。4名研究人员两两分组独立登陆各期刊官方网站进行手动检索,纳入2020年度发表的SR/MA文献,形成文献清单。同时,为保证不遗漏相关研究,1名研究人员以“具体期刊名称”“系统评价”“系统综述”“荟萃分析”和“Meta”为关键词,在中国知网(CNKI)进行补充检索。

    2名研究人员独立阅读初步纳入的文献清单,对可能符合的研究进一步查阅全文,按照纳入和排除标准筛选出符合要求的研究,并进行交叉核对。6名研究人员两两一组独立提取纳入文献的基本信息,包括关注疾病[按照ICD-11(the 11th edition of the International Classification of Disease)进行分类]、作者数量、资金资助情况、利益冲突报告情况、纳入研究类型、GRADE(Grading of Recommendations Assessment,Development and Evaluation)分级使用情况、PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)声明遵循情况等。文献筛选和资料提取遇到分歧时讨论解决或咨询第三方。

    6名研究人员两两一组采用AMSTAR 2(A Measurement Tool to Assess Systematic Reviews 2)评价工具[15]对SR/MA进行方法学质量评价。如有分歧,则通过讨论或咨询第三方解决。该评价工具共包括16个条目,其中8个条目的评价结果为“符合”和“不符合”,5个条目的评价结果为“符合”“部分符合”和“不符合”,3个条目的评价结果为“符合”“不符合”和“未进行Meta分析”,各条目的评价标准遵循AMSTAR 2的相应说明[15]

    质量评价按照如下方案进行:(1)可信度分级[16]。根据关键条目和非关键条目的评价结果,每个SR/MA的可信度可评价为高、中、低和极低。“高”表示无或1个非关键条目的评价结果为“不符合”;“中”表示超过1个非关键条目的评价结果为“不符合”;“低”表示1个关键条目加或不加非关键条目的评价结果为“不符合”;“极低”表示超过1个关键条目加或不加非关键条目的评价结果为“不符合”。AMSTAR 2原始量表中,条目2、4、7、9、11、13和15为关键条目,结合AMSTAR 2研发团队提出可根据情况调整关键条目的指导建议[15],考虑中文发表系统评价的特殊情况(我国无中文系统评价注册平台[17-18],且诸多期刊有版面篇幅的限制,如中华医学会杂志社系列期刊论著类稿件包括摘要、图、表和参考文献一般不超过5000字[19]),对与上述情况相关的关键条目进行调整(a.关键条目剔除条目2;b.关键条目剔除条目7;c.关键条目剔除条目2和7),在对SR/MA进行可信度分级时,对关键条目未调整的结果和关键条目不同方案调整后的结果均进行呈现。(2)AMSTAR 2条目符合情况。SR/MA符合AMSTAR 2的条目数量越多,其方法学质量越高,反之亦然[20]。(3)AMSTAR 2得分情况。每项研究的评价结果用分值表示[20-21],对每个条目的结果进行赋值,“符合”赋1分,“部分符合”赋0.5分,“不符合”赋0分,计算每篇SR/MA的得分情况。

    采用Microsoft Excel 2019软件进行数据整理,二分类变量采用频数和百分数进行描述,连续性变量采用均数±标准差进行描述。同时,从GRADE分级(使用/未使用)、PRISMA声明(遵循/未遵循)、作者数量(≤5人/>5人)、发表语种(中文/英文)、资金资助(报告/未报告)和纳入研究类型[纳入随机对照试验(randomized controlled trial,RCT)/未纳入RCT]6个方面对纳入研究的方法学质量进行分层分析,采用RevMan 5.3软件计算平均差(mean difference,MD)及95%置信区间(confidence interval,CI)。

    共79本中华医学会杂志社系列期刊被CSCD数据库收录,对其官方网站进行手动检索,其中46本期刊在2020年发表SR/MA文献,共计146篇,检索CNKI数据库补充纳入9篇。按照纳入和排除标准进行文献筛选,排除2篇病例报告+SR/MA、2篇诊断性试验系统评价、6篇网状Meta分析、10篇译文、9篇SR(因纳入研究为非原始研究,即对指南、药物试验方案、教学模式等的系统评价),最终纳入SR/MA文献126篇。

    126篇SR/MA文献中,24篇(19.0%)关注疾病为肿瘤;110篇(87.3%)发表语种为中文;67篇(53.2%)作者数量≤5人;79篇(62.7%)报告了资金资助;113篇(89.7%)报告了利益冲突;78篇(61.9%)纳入研究类型包括了RCT;111篇(88.1%)应用了偏倚风险评估工具;仅5篇(4.0%)应用GRADE分级;仅8篇(6.3%) 遵循PRISMA声明。SR/MA文献的基本特征详见表 1

    表  1  126篇SR/MA的基本特征[n(%)]
    基本特征 数值
    关注疾病*
    肿瘤   24(19.0)
      某些感染性疾病或寄生虫病 18(14.3)
      损伤、中毒或外因的某些其他后果 11(8.7)
    发表语种
      中文 110(87.3)
      英文 16(12.7)
    作者数量(人)
      ≤5 67(53.2)
      6~10 55(43.7)
      11~20 4(3.2)
    资金资助
      报告 79(62.7)
      未报告 47(37.3)
    利益冲突
      报告 113(89.7)
      未报告 13(10.3)
    纳入研究类型
      有RCT 78(61.9)
      无RCT 39(31.0)
      不明确 9(7.1)
    偏倚风险评估工具
      使用 111(88.1)
      未使用 15(11.9)
    GRADE分级
      使用 5(4.0)
      未使用 121(96.0)
    PRISMA声明
      遵循 8(6.3)
      未遵循 118(93.7)
    *依据国际疾病分类第十一次修订本进行疾病分类,仅呈现前3位,因此总数不等于126;SR/MA: 系统评价/Meta分析;RCT:随机对照试验;GRADE:证据推荐分级的评估、制订与评价;PRISMA:系统评价和Meta分析优先报告条目
    下载: 导出CSV 
    | 显示表格

    采用AMSTAR 2对126篇SR/MA文献的方法学质量进行评价,发现9个条目的符合/部分符合比例在70%以上,4个条目的不符合比例在90%以上,且其中3个条目的不符合比例为100%。针对具体条目,115篇(91.3%)SR/MA未制定前期研究方案;49篇(38.9%)的研究筛选不具有可重复性;79篇(62.7%)未评价单个研究偏倚风险对Meta分析结果的影响;47篇(37.3%)在解释和讨论结果时未考虑单个研究的偏倚风险;所有SR/MA均描述了纳入研究的基本信息,但均未解释研究设计选择的依据,未提供排除研究的清单,未报告系统评价纳入研究的资金资助情况。SR/MA的AMSTAR 2评价结果详见表 2

    表  2  126篇SR/MA的AMSTAR 2评价结果[n(%)]
    条目编号 条目内容 符合 部分符合 不符合
    1 系统评价的研究问题和纳入标准是否基于PICO构建 123(97.6) - 3(2.4)
    2 制作系统评价前是否制订前期研究方案;制作中若有修订,报告修订的细节* 11(8.7) 0(0) 115(91.3)
    3 研究设计的选择依据是否给予解释 0(0) - 126(100)
    4 是否使用了全面的检索策略* 0(0) 124(98.4) 2(1.6)
    5 研究筛选是否具有可重复性 77(61.1) - 49(38.9)
    6 数据提取是否具有可重复性 97(77.0) - 29(23.0)
    7 是否提供排除研究的清单以及排除理由* 0(0) 0(0) 126(100)
    8 是否描述纳入研究的详细基本信息 46(36.5) 80(63.5) 0(0)
    9 纳入研究的偏倚风险评估方法是否合理* 110(87.3) 1(0.8) 15(11.9)
    10 是否报告系统评价纳入研究的资金资助信息 0(0) - 126(100)
    11 如果执行Meta分析,结果合成的统计学分析方法是否合适*# 117(92.9) - 9(7.1)
    12 如果执行Meta分析,是否评价单个研究偏倚风险对Meta分析结果的影响# 47(37.3) - 79(62.7)
    13 在解释和讨论系统评价结果时是否考虑了单个研究的偏倚风险* 79(62.7) - 47(37.3)
    14 是否对存在的异质性进行满意的解释和讨论 100(79.4) - 26(20.6)
    15 如果进行定量合并,是否充分调查了存在发表偏倚的可能性,并讨论发表偏倚对结果的影响*# 90(71.4) - 36(28.6)
    16 是否报告潜在的利益冲突来源,包括目前系统评价获得的资金资助情况 120(95.2) - 6(4.8)
    *关键条目;#9篇文献未进行Meta分析,将评价结果归类为“不符合”;-:不适用;SR/MA:同表 1
    下载: 导出CSV 
    | 显示表格

    未对关键条目进行调整时,大部分SR/MA的可信度分级为“极低”;当将条目2或条目7从关键条目中剔除后,约40%的SR/MA可信度分级由“极低”升至“低”或“中”;当将条目2和条目7均从关键条目中剔除后,分别有约40%的SR/MA可信度分级为“中”和“低”,详见表 3

    表  3  126篇SR/MA的可信度分级情况[n(%)]
    分类 极低
    关键条目未调整 0(0) 0(0) 3(2.4) 123(97.6)
    关键条目剔除条目2 0(0) 0(0) 55(43.7) 71(56.3)
    关键条目剔除条目7 0(0) 3(2.4) 56(44.4) 67(53.2)
    关键条目剔除条目2和7 0(0) 55(43.7) 49(38.9) 22(17.5)
    条目2:制作系统评价前是否制订前期研究方案,制作中若有修订,报告修订的细节;条目7:是否提供排除研究的清单以及排除理由;SR/MA: 同表 1
    下载: 导出CSV 
    | 显示表格

    本研究纳入的SR/MA至少符合/部分符合5个AMSTAR 2条目,最多符合/部分符合12个条目。其中,符合/部分符合10个、11个和9个条目的SR/MA文献数量最多,分别为39篇、28篇和26篇(图 1)。

    图  1  126篇SR/MA符合/部分符合AMSTAR 2条目数量的分布图
    SR/MA: 同表 1

    根据赋分原则给予分值后,SR/MA平均得分为(10.38±1.91)分。从6个层面对纳入研究的方法学质量进行分层分析,结果显示,是否使用GRADE分级(MD=0.75,95% CI:-1.12~2.62)、是否遵循PRISMA声明(MD=0,95% CI:-0.97~0.97)、作者数量是否>5(MD=-0.04,95% CI:-0.70~0.62)、发表语种是否不同(MD=1.03,95% CI:-0.43~2.49)、纳入研究类型是否包括RCT(MD=0.77,95% CI:-0.09~1.63)和是否报告资金资助(MD=-0.22,95% CI:-0.82~0.38)均不是SR/MA方法学质量的影响因素,详见图 2

    图  2  纳入研究的方法学质量分层分析
    GRADE、PRISMA、RCT: 同表 1

    本研究采用AMSTAR 2工具,对46本CSCD收录的中华医学会杂志社系列期刊2020年发表的126篇SR/MA文献进行评价,从条目的符合情况、SR/MA可信度分级情况、SR/MA符合/部分符合AMSTAR 2条目数量的分布情况,以及6个层面的分层分析进行了方法学质量分析。结果显示,9个条目的符合/部分符合比例在70%以上;SR/MA至少符合/部分符合5个AMSTAR 2条目,最多符合/部分符合12个条目;关键条目未调整前超过90%的SR/MA可信度分级为“极低”,结合中国实际情况调整关键条目后,分别有约40%的SR/MA可信度分级为“中”和“低”。同时,分层分析发现是否使用GRADE分级、是否遵循PRISMA声明、作者数量是否>5、发表语种是否不同、纳入研究类型是否包括RCT和是否报告资金资助均不是SR/MA方法学质量的影响因素。

    2020年CSCD收录期刊发表的SR/MA文献方法学质量与2016—2018年CSCD收录期刊发表的SR/MA文献[20]的方法学质量相比,在平均得分(10.38± 1.91比8.70±1.75)和符合/部分符合AMSTAR 2条目数量分布(5~12比5~9)方面均有所提高;与中国学者发表于MEDLINE的SR/MA文献[20]的方法学质量相比,在平均得分方面(10.38±1.91比9.64±1.79)略高,但在符合/部分符合AMSTAR 2条目数量分布方面略低(5~12比9~14);与非Cochrane系统评价[22]相比,在可信度分级方面相差不大(3个“低”和123个“极低”比2个“低”和58个“极低”);与Cochrane系统评价(针刺领域)[23]相比,在可信度分级方面有待提升(3个“低”和123个“极低”比8个“高”、16个“中”、24个“低”和2个“极低”)。为进一步提升我国SR/MA文献的方法学质量,笔者提出如下建议。

    SR/MA的具体制作方案应在研究开展前进行规划并公开,以促进研究者遵循研究方案开展研究,降低SR/MA制作过程中的实施偏倚和报告偏倚,也可避免不必要的重复研究,鼓励研究者之间合作,在一定程度上优化整合有限的资源[15, 17, 24]。公开研究方案的方式包括:在PROSPERO(https://www.crd.york.ac.uk/prospero/)、OSF REGISTRIES (https://osf.io/registries?view_only=) 等平台进行注册或将计划书进行发表[25]。已有研究表明,开展SR/MA之前是否进行注册是影响其方法学质量的因素之一[26],本研究结果也显示,计划书或注册作为AMSTAR 2的一个关键条目,影响SR/MA的可信度分级。然而,我国SR/MA的注册情况堪忧,多篇研究显示注册比例不足2%[10, 27-29],尽管本研究结果显示2020年的注册比例与既往相比略高,但我国系统评价的注册现状仍亟待改善[30]。建议国内期刊效仿《临床肝胆病杂志》,优先录用和发表已注册的SR/MA[31],从而促进SR/MA进行注册,为其方法学质量提供一定程度的保障。同时,建议国内相关机构组建适用于国内用户的SR/MA注册平台[18],以进一步促进我国SR/MA的前瞻性注册。

    纳入的文献是SR/MA研究的基石,全面系统的检索策略以及合理的纳排标准是其结果可靠性的重要保障。本研究显示,SR/MA在文献检索策略和纳排标准方面仍需提升,而这一结果同小儿推拿类SR/MA和2015—2017年发表的SR/MA评价结果一致[26, 32]。国内科技期刊多数为纸质期刊,受限于版面要求,文章在刊出时可能删减了排除研究的清单以及排除理由,从而不符合关键条目7的要求,影响了SR/MA文献的可信度分级。为提高SR/MA结果的准确性,特提出以下建议:(1)尽可能选择多种检索方式以及多个数据库进行检索,并追溯参考文献、检索注册信息、咨询相关领域专家和检索灰色文献等,以保证相关文献不被遗漏。(2)解释SR/MA纳入某个或某些研究类型的依据和原因,从而使审稿人和读者更加清晰地了解相关过程是否合理。(3)作者在投稿时提供潜在相关研究的文献清单,并标注出排除文献及排除理由,从而避免SR/MA结果发生偏差;期刊应加快数字化出版步伐,或在期刊网络版中提供相应材料[33],以便于读者阅读。(4)判断高或中偏倚风险的研究是否会对MA的合并效应量产生影响,从而合理选择纳入的文献。

    商业资助的研究往往比独立资助的研究更有可能得出有利于赞助方产品的结论[34-35]。因此,对于系统评价的制作者,有必要详细记录每项研究的资金来源,以便于判断资金资助是否引起利益冲突,进而影响SR/MA的结果。本研究结果显示,纳入的126篇SR/MA文献均未报告纳入研究的资金资助情况,这同样在某些具体疾病领域的SR/MA质量分析中被证实,如高压氧治疗糖尿病足主题的SR/MA和正念冥想治疗创伤后应激障碍有效性及安全性主题的SR/MA[36-37]。除关注SR/MA纳入研究的资金资助外,还应对SR/MA本身的资金资助和利益冲突进行报告,尽管本研究中利益冲突的报告比例很高,但也有SR/MA的再评价结果显示其利益冲突需进一步报告[38]

    研究人员已针对SR/MA研制出相关的方法学质量评价工具和报告质量评价工具,即AMSTAR 2和PRISMA声明。对SR/MA从方法学维度和报告维度进行管理,可使其制订过程更透明,结果更可靠[20]。在本研究中,对PRISMA声明的遵循情况进行了调查,结果显示仅有6.3%的SR/MA提及PRISMA声明,建议制作者在撰写SR/MA时,应参考PRISMA声明,规范报告相关内容。同时,本研究发现仅4%的SR/MA对其结果进行了GRADE分级,这一结果与高影响因子营养学期刊发表的SR/MA文献GRADE分级使用情况(6.88%)相似[39]。使用GRADE对SR/MA结果进行分级,可清晰呈现证据质量,有助于研究人员和临床医生更好地理解SR/MA合成的证据。建议SR/MA制作者学习和使用GRADE分级方法,从而使SR/MA发挥最大价值。

    本研究选取46本CSCD收录期刊2020年发表的126篇SR/MA文献为研究对象,对其方法学质量进行了评价,根据可能影响SR/MA方法学质量的因素进行了分层分析,并根据研究结果为未来SR/MA的制作提出建议,为SR/MA的制作者、编辑和审稿人在制作及评审SR/MA时提供了参考。同时,本研究存在如下局限性:(1)分层因素的选择具有主观性,可能存在其他未考虑到的分层因素。同时,由于分层后两组样本量相差悬殊(如以是否使用GRADE分级进行分类,使用GRADE分级的SR/MA仅为5篇,未使用的为121篇),可能导致分层后的分析结果存在偏倚。(2)尽管进行了两轮预试验,并采取了双人“背对背”评价,但评价过程中仍可能存在一定的主观性,导致偏倚产生。

    CSCD收录期刊2020年发表的SR/MA文献方法学质量仍存在提升空间。建议SR/MA制作者在制作SR/MA时,编辑和审稿人在评审SR/MA时,应参考AMSTAR 2相关条目,重点关注注册、检索、纳入和排除标准及资金资助等方面,以切实提高其方法学质量。同时,基于本研究对纳入的SR/MA文献GRADE分级使用情况的调查,建议SR/MA制作者应对SR/MA结果进行GRADE证据分级,以帮助读者进一步正确理解、判断和应用证据。

    志谢: 感谢北京大学公共卫生学院詹思延教授在本文成稿过程中给予的指导和建议。
    作者贡献:刘辉、苏仁凤负责数据提取、数据整理、统计分析和论文初稿撰写;铁锐、卢梦颖、张豪、孙浩楠负责数据提取;石安娅、姚媛媛、周奇、王子君、赵俊贤、赵思雅、杨克虎负责数据核查、论文修订;刘兴荣、陈耀龙负责研究指导、论文修订和经费支持。
    利益冲突:所有作者均声明不存在利益冲突
  • 图  1   126篇SR/MA符合/部分符合AMSTAR 2条目数量的分布图

    SR/MA: 同表 1

    图  2   纳入研究的方法学质量分层分析

    GRADE、PRISMA、RCT: 同表 1

    表  1   126篇SR/MA的基本特征[n(%)]

    基本特征 数值
    关注疾病*
    肿瘤   24(19.0)
      某些感染性疾病或寄生虫病 18(14.3)
      损伤、中毒或外因的某些其他后果 11(8.7)
    发表语种
      中文 110(87.3)
      英文 16(12.7)
    作者数量(人)
      ≤5 67(53.2)
      6~10 55(43.7)
      11~20 4(3.2)
    资金资助
      报告 79(62.7)
      未报告 47(37.3)
    利益冲突
      报告 113(89.7)
      未报告 13(10.3)
    纳入研究类型
      有RCT 78(61.9)
      无RCT 39(31.0)
      不明确 9(7.1)
    偏倚风险评估工具
      使用 111(88.1)
      未使用 15(11.9)
    GRADE分级
      使用 5(4.0)
      未使用 121(96.0)
    PRISMA声明
      遵循 8(6.3)
      未遵循 118(93.7)
    *依据国际疾病分类第十一次修订本进行疾病分类,仅呈现前3位,因此总数不等于126;SR/MA: 系统评价/Meta分析;RCT:随机对照试验;GRADE:证据推荐分级的评估、制订与评价;PRISMA:系统评价和Meta分析优先报告条目
    下载: 导出CSV

    表  2   126篇SR/MA的AMSTAR 2评价结果[n(%)]

    条目编号 条目内容 符合 部分符合 不符合
    1 系统评价的研究问题和纳入标准是否基于PICO构建 123(97.6) - 3(2.4)
    2 制作系统评价前是否制订前期研究方案;制作中若有修订,报告修订的细节* 11(8.7) 0(0) 115(91.3)
    3 研究设计的选择依据是否给予解释 0(0) - 126(100)
    4 是否使用了全面的检索策略* 0(0) 124(98.4) 2(1.6)
    5 研究筛选是否具有可重复性 77(61.1) - 49(38.9)
    6 数据提取是否具有可重复性 97(77.0) - 29(23.0)
    7 是否提供排除研究的清单以及排除理由* 0(0) 0(0) 126(100)
    8 是否描述纳入研究的详细基本信息 46(36.5) 80(63.5) 0(0)
    9 纳入研究的偏倚风险评估方法是否合理* 110(87.3) 1(0.8) 15(11.9)
    10 是否报告系统评价纳入研究的资金资助信息 0(0) - 126(100)
    11 如果执行Meta分析,结果合成的统计学分析方法是否合适*# 117(92.9) - 9(7.1)
    12 如果执行Meta分析,是否评价单个研究偏倚风险对Meta分析结果的影响# 47(37.3) - 79(62.7)
    13 在解释和讨论系统评价结果时是否考虑了单个研究的偏倚风险* 79(62.7) - 47(37.3)
    14 是否对存在的异质性进行满意的解释和讨论 100(79.4) - 26(20.6)
    15 如果进行定量合并,是否充分调查了存在发表偏倚的可能性,并讨论发表偏倚对结果的影响*# 90(71.4) - 36(28.6)
    16 是否报告潜在的利益冲突来源,包括目前系统评价获得的资金资助情况 120(95.2) - 6(4.8)
    *关键条目;#9篇文献未进行Meta分析,将评价结果归类为“不符合”;-:不适用;SR/MA:同表 1
    下载: 导出CSV

    表  3   126篇SR/MA的可信度分级情况[n(%)]

    分类 极低
    关键条目未调整 0(0) 0(0) 3(2.4) 123(97.6)
    关键条目剔除条目2 0(0) 0(0) 55(43.7) 71(56.3)
    关键条目剔除条目7 0(0) 3(2.4) 56(44.4) 67(53.2)
    关键条目剔除条目2和7 0(0) 55(43.7) 49(38.9) 22(17.5)
    条目2:制作系统评价前是否制订前期研究方案,制作中若有修订,报告修订的细节;条目7:是否提供排除研究的清单以及排除理由;SR/MA: 同表 1
    下载: 导出CSV
  • [1]

    Muka T, Glisic M, Milic J, et al. A 24-step guide on how to design, conduct, and successfully publish a systematic review and meta-analysis in medical research[J]. Eur J Epidemiol, 2020, 35: 49-60. DOI: 10.1007/s10654-019-00576-5

    [2] 靳英辉, 吴世文, 拜争刚, 等. 系统评价与Meta分析的内涵及价值[J]. 同济大学学报(医学版), 2019, 40: 105-111. https://www.cnki.com.cn/Article/CJFDTOTAL-TJIY201901021.htm
    [3]

    Djulbegovic B, Guyatt GH. Progress in evidence-based medicine: a quarter century on[J]. Lancet, 2017, 390: 415-423. DOI: 10.1016/S0140-6736(16)31592-6

    [4] 李幼平, 刘雪梅. 系统评价的起源、发展和作用[J]. 中国循证医学杂志, 2011, 11: 2-6. DOI: 10.3969/j.issn.1672-2531.2011.01.002
    [5]

    Manchikanti L. Evidence-based medicine, systematic reviews, and guidelines in interventional pain management, part I: introduction and general considerations[J]. Pain Physician, 2008, 11: 161-186.

    [6]

    Patsopoulos NA, Analatos AA, Ioannidis JP. Relative citation impact of various study designs in the health sciences[J]. JAMA, 2005, 293: 2362-2366. DOI: 10.1001/jama.293.19.2362

    [7]

    Young C, Horton R. Putting clinical trials into context[J]. Lancet, 2005, 366: 107-108. DOI: 10.1016/S0140-6736(05)66846-8

    [8]

    Ioannidis JP, Greenland S, Hlatky MA, et al. Increasing value and reducing waste in research design, conduct, and analysis[J]. Lancet, 2014, 383: 166-175. DOI: 10.1016/S0140-6736(13)62227-8

    [9] 李秀霞, 郭康乐, 商雪, 等. 针刺临床有效性优势病症的系统评价再评价[J]. 中国循证医学杂志, 2021, 21: 703-709. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ202106012.htm
    [10] 王志稳, 冷敏敏, 赵雅洁, 等. 近5年我国护理领域干预性研究系统评价的方法学质量分析[J]. 中国护理管理, 2020, 20: 485-489. https://www.cnki.com.cn/Article/CJFDTOTAL-GLHL202004006.htm
    [11] 钟娟, 郑芸, 李刚, 等. 中草药治疗变应性鼻炎系统评价再评价[J]. 中华中医药杂志, 2017, 32: 263-266. https://www.cnki.com.cn/Article/CJFDTOTAL-BXYY201701072.htm
    [12] 王盼杰, 王稼祥, 蔡润津, 等. 我国学者发表系统评价再评价研究现状分析[J]. 中国药物评价, 2019, 36: 5-9. https://www.cnki.com.cn/Article/CJFDTOTAL-YAPJ201901003.htm
    [13] 中华医学会杂志社指南与标准研究中心, 世界卫生组织指南实施与知识转化合作中心. 2020中华医学会系列杂志发表指南评价报告[J]. 中华医学杂志, 2021, 101: 1839-1847.
    [14] 张方圆, 沈傲梅, 曾宪涛, 等. 系统评价方法学质量评价工具AMSTAR 2解读[J]. 中国循证心血管医学杂志, 2018, 10: 14-18. https://www.cnki.com.cn/Article/CJFDTOTAL-PZXX201801003.htm
    [15]

    Shea BJ, Reeves BC, Wells G, et al. AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both[J]. BMJ, 2017, 358: j4008.

    [16] 葛龙, 潘蓓, 潘佳雪, 等. 解读AMSTAR-2: 基于随机和(或)非随机对照试验系统评价的质量评价工具[J]. 中国药物评价, 2017, 34: 334-338. https://www.cnki.com.cn/Article/CJFDTOTAL-YAPJ201705004.htm
    [17] 方程, 邓巍, 樊景春, 等. 系统评价与Meta分析的注册平台简介[J]. 同济大学学报(医学版), 2019, 40: 380-387. https://www.cnki.com.cn/Article/CJFDTOTAL-TJIY201903023.htm
    [18] 董悦颖. Meta分析方法学质量与报告质量评价的主要问题[J]. 中国卫生统计, 2017, 34: 1006-1008. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGWT201706048.htm
    [19] 中华医学会杂志社.中华医学会系列杂志稿约通则[EB/OL]. (2008-12)[2022-03-24]. http://www.cmaph.org/r/cms/guanwang/pdf/web/viewer.html?file=/files/u/cms/guanwang/201910/25101508od3v.pdf.
    [20]

    Cao L, Yao L, Hui X, et al. Clinical Epidemiology in China series. Paper 3: The methodological and reporting quality of systematic reviews and meta-analyses published by China' researchers in English-language is higher than those published in Chinese-language[J]. J Clin Epidemiol, 2021, 140: 178-188.

    [21] 王虎城, 杨丰文, 庞稳泰, 等. 参附注射液治疗心力衰竭的系统评价再评价[J]. 中国中医急症, 2020, 29: 41-45. https://www.cnki.com.cn/Article/CJFDTOTAL-ZYJZ202001011.htm
    [22]

    Gao Y, Cai Y, Yang K, et al. Methodological and reporting quality in non-Cochrane systematic review updates could be improved: a comparative study[J]. J Clin Epidemiol, 2020, 119: 36-46.

    [23]

    Ji Z, Zhang J, Menniti-Ippolito F, et al. The quality of Cochrane systematic reviews of acupuncture: an overview[J]. BMC Complement Med Ther, 2020, 20: 307.

    [24]

    Booth A, Clarke M, Ghersi D, et al. An international registry of systematic-review protocols[J]. Lancet, 2011, 377: 108-109.

    [25] 陶欢, 杨乐天, 平安, 等. 随机或非随机防治性研究系统评价的质量评价工具AMSTAR 2解读[J]. 中国循证医学杂志, 2018, 18: 101-108. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ201801017.htm
    [26] 张旭, 左丽倩, 刘明秀, 等. 108篇系统评价或Meta分析的方法学质量评价: 基于AMSTAR-2[J]. 中国社会医学杂志, 2021, 38: 476-480. https://www.cnki.com.cn/Article/CJFDTOTAL-GWSY202104028.htm
    [27] 张夏天, 胡烨胤, 张晓雨, 等. 2013-2017年发表的推拿系统评价的再评价[J]. 中国循证医学杂志, 2019, 19: 361-367. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ201903019.htm
    [28] 王娅, 刘艳飞, 王哲, 等. 2015-2019年中药治疗原发性高血压的系统评价再评价[J]. 中国循证医学杂志, 2019, 19: 1460-1469. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ201912013.htm
    [29] 王佳琳, 闫佰荟, 王璐, 等. 中文肿瘤学干预类Meta分析论文摘要报告质量评价分析[J]. 中华医学图书情报杂志, 2020, 29: 24-31. https://www.cnki.com.cn/Article/CJFDTOTAL-YXTS202010004.htm
    [30] 周建国, 吕水萍, 张钰, 等. 中国学者在PROSPERO平台注册系统评价/Meta分析的现状调查[J]. 中国循证医学杂志, 2016, 16: 466-470. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ201604014.htm
    [31] 《临床肝胆病杂志》编辑部. 《临床肝胆病杂志》优先录用在PROSPERO平台注册的Meta分析[J]. 临床肝胆病杂志, 2020, 36: 2328. https://www.cnki.com.cn/Article/CJFDTOTAL-LCGD202010049.htm
    [32] 王晓宇, 王虎城, 刘蕾蕾, 等. 小儿推拿类系统评价/Meta分析的质量评价[J]. 中国循证医学杂志, 2019, 19: 1106-1112. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ201909015.htm
    [33] 韦所苏, 韦挥德, 黄晓红, 等. 1998-2014年《中华医学杂志》发表的Meta分析文献质量评价[J]. 中华医学杂志, 2015, 95: 621-626. https://www.cnki.com.cn/Article/CJFDTOTAL-ZYLN201611012.htm
    [34]

    DeAngelis CD, Fontanarosa PB. Impugning the integrity of medical science: the adverse effects of industry influence[J]. JAMA, 2008, 299: 1833-1835.

    [35]

    Yaphe J, Edman R, Knishkowy B, et al. The association between funding by commercial interests and study outcome in randomized controlled drug trials[J]. Fam Pract, 2001, 18: 565-568.

    [36] 代欣玥, 张菀桐, 刘艳飞, 等. 高压氧治疗糖尿病足的系统评价再评价[J]. 中国循证医学杂志, 2020, 20: 809-816. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ202007011.htm
    [37] 谭香艺, 杨祎玲, 赵久波, 等. 正念冥想治疗创伤后应激障碍有效性及安全性的系统评价再评价[J]. 中国全科医学, 2021, 24: 2721-2728. https://www.cnki.com.cn/Article/CJFDTOTAL-QKYX202121017.htm
    [38] 杨珂璐, 金鑫瑶, 刘明, 等. 中药注射剂治疗病毒性肺炎的系统评价再评价[J]. 中国循证医学杂志, 2020, 20: 1326-1333. https://www.cnki.com.cn/Article/CJFDTOTAL-ZZXZ202011013.htm
    [39]

    Werner SS, Binder N, Toews I, et al. Use of GRADE in evidence syntheses published in high-impact-factor nutrition journals: A methodological survey[J]. J Clin Epidemiol, 2021, 35: 54-69.

  • 期刊类型引用(2)

    1. 王宗华,范姜珊,米元元,陈陵,解浪浪,黎宁. 严重烧伤患者脉搏轮廓心输出量监测的最佳证据总结. 中华烧伤与创面修复杂志. 2023(06): 573-580 . 百度学术
    2. 鄢勤文,李冬,周净洁. 等离子扁桃体部分切除术与全切术治疗儿童阻塞性睡眠呼吸暂停综合征的Meta分析. 微创医学. 2023(04): 444-453 . 百度学术

    其他类型引用(1)

图(2)  /  表(3)
计量
  • 文章访问数:  853
  • HTML全文浏览量:  190
  • PDF下载量:  70
  • 被引次数: 3
出版历程
  • 收稿日期:  2022-06-08
  • 录用日期:  2022-07-03
  • 网络出版日期:  2022-07-26
  • 刊出日期:  2023-03-29

目录

/

返回文章
返回
x 关闭 永久关闭