Development and Evaluation of the Reliability and Validity of Knowledge, Attitude, and Practice Questionnaire regarding Clinical Adverse Event Reporting
-
摘要:目的 编制不良事件上报知信行问卷, 并评价其信度和效度。方法 采用知信行理论为问卷构架, 在文献阅读、医护人员和专家访谈的基础上初步编制不良事件上报知信行问卷; 随机抽取北京协和医院医护人员进行问卷调查。以Cronbach'α系数检验内部一致性信度, 以内部相关系数(intraclass correlation coefficient, ICC)检验重测信度, 以内容效度指数(content validity index, CVI)检验内容效度, 探索因子分析检验结构效度, 以问卷得分的高分组和低分组之间的独立样本t检验评价区分效度。结果 回收有效问卷130份; 各维度及总问卷的Cronbach'α系数均 > 0.6;各条目ICC系数均 > 0.75;各维度CVI系数均 > 0.9;因子分析共提取5个公因子, 累计方差贡献率61.8%, 各条目的共性方差均>0.4;高分组和低分组得分差异具有统计学意义(P < 0.01)。结论 《临床不良事件上报知信行问卷》具有理想的信度和效度, 可作为不良事件上报现状的调研工具。Abstract:Objective To develop a knowledge, attitude, and practice (KAP) questionnaire regarding clinical adverse event reporting and to evaluate its reliability and validity.Methods The questionnaire was developed following KAP theory, based on literature review and interview of experts and medical practitioners. Doctors and nurses in Peking Union Medical College Hospital were selected by random sampling and surveyed. Cronbach's α coefficient was used to test the internal consistency reliability, and intraclass correlation coefficient (ICC) to test retest reliability. Content validity index (CVI), exploratory factor analysis, and independent t-test between high-score and low-score groups were used to test the content validity, construct validity, and discrimination validity, respectively.Results 130 questionnaires were collected. Cronbach's α coefficient of each dimension and total questionnaire was all > 0.6. ICC of each item was > 0.75 and CVI of each dimension was > 0.9. Five principal factors were extracted, the cumulative contribution rate was 61.8%, and the common variance of each item was > 0.4. There were statistically significant differences between the high-score and low-score groups(P < 0.01).Conclusions The KAP questionnaire regarding clinical adverse eventreporting is a reliable and valid tool for evaluating the status of adverse event reporting.
-
临床不良事件指与医疗行为(而非固有疾病)相关的损伤[1]。国外大型回顾性研究证实,医院不良事件的发生率高达3.3%~16.6%,超过10%的不良事件会导致患者永久性伤残或死亡[2-3]。研究表明,28.9%~53.2%的不良事件被认为可以预防[2-3]。不良事件的上报总结,是发现医疗系统漏洞、预防类似事件再发生的有效方法之一[4]。美国、英国、澳大利亚、丹麦、加拿大等国均设有全国范围内的不良事件收集和分析系统。
在我国,虽然原卫生部曾先后出台政策建立严重不良事件强制上报系统和患者安全(不良事件)自愿上报系统,并要求各医院完善内部主动上报制度[5];但调研表明,只有41.38%的医院使用过原卫生部的报告系统,且上报数量有限[6]。目前,我国对不良事件上报的研究和实践仍处于起步阶段,相关报道非常有限。为此,本研究通过编制不良事件上报知信行问卷并进行信度、效度检验,旨在更好地评价医护人员不良事件上报现状,为开展相关教育、采取改进措施提供依据。
对象和方法
调查对象
抽取北京协和医院内科和外科130名医护人员进行问卷调查。其中医生73人(56.2%),护士57人(43.8%)。医生中,见习/实习医师7人(9.6%)、住院医师43人(58.9%)、主治医师23人(31.5%)。护士中,见习/实习护士3人(5.3%),护士14人(24.6%),护师32人(56.1%),主管护师8人(14.0%)。所有受调查者中工作年限≤5年者78人(60.0%),>5且≤10年者42人(32.3%),>10且≤20年者10人(7.7%)。受教育程度方面,博士40人(30.8%),硕士33人(25.4%),本科21人(16.2%),专科36人(27.7%)。工作时长方面,<20 h/周1人(0.1%),20~39 h/周9人(6.9%),40~59 h/周62人(47.7%),60~79 h/周44人(33.8%),80~99 h/周12人(9.2%),≥100 h/周者2人(1.5%)。
问卷编制及内容
由研究者自主设计,采用知信行理论为问卷构架,在参考大量国内外文献的基础上,与1位北京协和医院麻醉科医疗质控专家和20位住院医师进行面对面访谈,形成问卷初稿。问卷包括4部分,即一般人口社会学资料、知识维度、态度维度和行为维度。一般人口社会学资料包括受试者的性别、年龄、职业(医生/护士)、职称、工作年限、受教育程度和每周工作时长。知识维度包括8个条目,均为判断题,命名为K1~K8;K1~K4判断题目所述是否为不良事件,考察对不良事件概念的理解;K5~K8判断题目所述不良事件发生后的处理是否合理,考察对不良事件上报流程的应用;每题答对计1分,答错计0分,得分0~8分,分数越高提示对不良事件上报相关知识掌握越好。态度维度包括5个条目,命名为A1~A5,采用Linkert 5级评分法, 请受试者选择对关于不良事件上报重要性陈述的认同程度,如“不良事件的上报是每位医生的责任”、“不良事件的上报有利于改善患者安全”;“完全同意”计5分,“同意”计4分,“中立”计3分,“不同意”计2分,“完全不同意”计1分,得分5~25分,分数越高提示对不良事件上报主动性越强。行为维度包括3个条目,命名为P1~P3,分别考察受试者近12个月参加不良事件相关培训的次数(P1)、上报不良事件的次数(P2)、参加不良事件分析讨论的次数(P3);“0或不记得”计1分,“1~2”计2分,“3~4”计3分,“≥5”计4分, 得分3~12分,分数越高提示对不良事件上报的执行情况越好。
本问卷内容经3名专家评审,包括1位麻醉科医疗质控专家、2位流行病与医学统计学专家。根据专家的建议,将问卷条目的陈述修改得更加严谨和通俗。
资料收集
问卷内容在“金数据”表单设计与数据处理网站上编辑生成,后将问卷链接通过微信发送受试者群组,受试者在线完成电子问卷后,数据记录于“金数据”网站,后可从网站自动生成Excel数据列表。共有130名医护人员填写电子问卷,回收130份完整的合格问卷, 问卷回收率100%。
统计学处理
对合格问卷进行编码, 采用SPSS 19.0软件对数据进一步分析。采用Cronbach'α系数评估各维度和全问卷的内部一致性。初次调研2周后,从130名受试者中随机选出45名再次填写该问卷,以内部相关系数(intraclass correlation coefficient, ICC)评价重测信度[7]。3名专家再次针对各题目的适用性、明确性及涵盖面进行审阅、修改和评定,以内容效度指数(content validity index, CVI)评价内容效度[7]。根据Kaiser-Meyer-Olkin(KMO)值和Bartlett's球形检验评估问卷是否适合进行因子分析,若适合,则以探索性因子分析评价结构效度。将问卷得分的前后27%分别作为高分组和低分组,然后对两组进行独立样本t检验,以评价区分效度。P<0.01为差异有统计学意义。
结果
信度检验
内部一致性信度:问卷的知识、态度、行为维度和总问卷的Cronbach'α系数分别为0.748、0.917、0.688、0.754,均>0.6,问卷的内部一致性较好。
重测信度:问卷各条目的ICC系数均>0.75,且差异均具有统计学意义(P均<0.01),问卷的重测信度非常好(表 1)。
表 1 问卷重测信度检验结果条目 内部相关系数 P值 K1 0.774 0.007 K2 0.789 0.007 K3 0.766 0.008 K4 0.803 0.007 K5 0.751 0.008 K6 0.857 0.004 K7 0.767 0.008 K8 0.828 0.006 A1 0.833 0.006 A2 0.902 0.001 A3 0.880 0.003 A4 0.873 0.003 A5 0.853 0.004 P1 0.810 0.007 P2 0.845 0.004 P3 0.849 0.004 效度检验
内容效度:问卷知识、态度、行为维度的平均CVI系数分别为0.902、0.983、0.952,均>0.9,问卷的内容效度较好。
结构效度:KMO值为0.691,Bartlett's球形检验达到显著水平(P<0.01),表明数据适合进行因子分析。选用主成分分析法对问卷条目进行探索性因子分析,提取特征值>1的公因子5个,累计方差贡献率达61.8%。经主成分分析和方差最大正交旋转后,各子维度的每个条目的共性方差均>0.4,分卷的结构效度理想(表 2)。
表 2 问卷结构效度检验结果公因子 特征根 方差贡献率(%) 累计贡献率(%) 相关条目 负荷范围 F1 4.009 25.1 25.1 A1、A2、A3、A4、A5 0.812~0.909 F2 2.032 12.7 37.8 K1、K2、K3、K4、K5 0.538~0.698 F3 1.424 8.9 46.7 P1、P2 0.477~0.693 F4 1.268 7.9 54.6 K6、K7 0.496~0.658 F5 1.152 7.2 61.8 K8 0.503~0.623 区分效度:独立样本t检验提示各条目低分组及高分组之间得分差异具有统计学意义(P<0.01),问卷的区分效度理想。
讨论
虽然国内外有多个针对阻碍不良事件上报原因展开的问卷调查[8-12],但目前仍缺乏相关知信行调研。知信行模式将行为的改变分为获取知识、产生信念及形成行为三个连续过程;其中知识为基础,信念是动力,行为则是目标[13]。近年来,该模式已被广泛应用于医疗和教育领域中。本研究在国内外首次完成对不良事件上报的知信行问卷的编制和审核,有助于研究者全面准确地评估我国医护人员不良事件上报的现状,并以此为基础开展相关教育、完善不良事件上报流程,提高不良事件上报率,采取有效措施预防类似事件再发生,进一步改善医疗服务质量和医院患者安全文化。
信度主要用于评价量表的精确性、稳定性和一致性,常用的信度指标有重测信度、复本信度、折半信度、内部一致性信度和评价者间信度;效度主要用于评价量表的准确度、有效性和正确性,常用的效度指标包括表面效度、内容效度、效标效度、结构效度、聚散效度和区分效度[14]。本研究对新编制的知信行问卷重测信度、内部一致性信度、内容效度、结构效度和区分效度进行评价,结果提示该问卷信度、效度较为理想,可作为不良事件上报现状的调研工具。
但是,本研究受试者来源仅局限于北京协和医院,且以低年资医护人员为主,代表性有限;130名受试者参与调研,样本量有限。因此,为获得更加准确的数据,仍需开展大规模分层抽样调研;同时,还可利用该问卷,进一步探讨影响不良事件上报的相关因素,如医护人员年资、受教育程度、工作时长等,为今后制定改进措施提供依据。
-
表 1 问卷重测信度检验结果
条目 内部相关系数 P值 K1 0.774 0.007 K2 0.789 0.007 K3 0.766 0.008 K4 0.803 0.007 K5 0.751 0.008 K6 0.857 0.004 K7 0.767 0.008 K8 0.828 0.006 A1 0.833 0.006 A2 0.902 0.001 A3 0.880 0.003 A4 0.873 0.003 A5 0.853 0.004 P1 0.810 0.007 P2 0.845 0.004 P3 0.849 0.004 表 2 问卷结构效度检验结果
公因子 特征根 方差贡献率(%) 累计贡献率(%) 相关条目 负荷范围 F1 4.009 25.1 25.1 A1、A2、A3、A4、A5 0.812~0.909 F2 2.032 12.7 37.8 K1、K2、K3、K4、K5 0.538~0.698 F3 1.424 8.9 46.7 P1、P2 0.477~0.693 F4 1.268 7.9 54.6 K6、K7 0.496~0.658 F5 1.152 7.2 61.8 K8 0.503~0.623 -
[1] 马爽, 朱斌, 黄宇光.手术及麻醉不良事件的监控与预防[J].协和医学杂志, 2013, 4:471-474. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=xhyx201304028 [2] Sari AA, Doshmangir L, Sheldon T. A systematic review of the extent, nature and likely causes of preventable adverse events arising from hospital care[J]. Iran J Public Health, 2010, 39:1-15.
[3] de Vries EN, Ramrattan MA, Smorenburg SM, et al. The incidence and nature of in-hospital adverse events:a systematic review[J]. Qual Saf Health Care, 2008, 17:216-223. DOI: 10.1136/qshc.2007.023622
[4] Leape LL. Why should we report adverse incidents?[J]. J Eval Clin Pract, 1999, 5:1-4. DOI: 10.1046/j.1365-2753.1999.00162.x
[5] 汪卫龙, 曹爱萍, 许苹, 等.我国医疗不良事件上报系统现状与对策[J].解放军医院管理杂志, 2014, 4:386-387. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=jfjyyglzz201404039 [6] 程艳敏, 刘岩, 刘亚民.我国医疗不良事件报告系统研究与应用现状述评[J].中国医院管理, 2012, 10:40-42. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zgyygl201210016 [7] 曾五一, 黄炳艺.调查问卷的可信度和有效度分析[J].统计与信息论坛, 2005, 6:13-17. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=tjyxxlt200506002 [8] 王小燕, 舒琴, 张汝柠, 等.综合医院医护人员医疗不良事件报告的影响因素分析[J].医学与社会, 2013, 11:38-40. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=yxysh201311012 [9] 蒋建群, 刘慧, 孙莉.不良事件报告系统医务人员使用影响因素分析[J].解放军医院管理杂志, 2013, 6:535-536, 580. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=jfjyyglzz201306016 [10] 谭海涛, 李强辉, 江建中.医疗不良事件报告现状及主要影响因素分析[J].现代医院管理, 2015, 5:64-67. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=xdyygl201505024 [11] 程艳敏.影响医务人员上报医疗不良事件的因素分析[J].中国医院, 2013, 7:43-46. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zhonggyy201307016 [12] Pfeiffer Y, Manser T, Wehner T. Conceptualising barriers to incident reporting:a psychological framework[J]. Qual Saf Health Care, 2010, 19:e60. DOI: 10.1136/qshc.2007.025320
[13] 陈芳, 金心心, 王科平.知信行模式在腰椎间盘突出症术后患者健康教育中的应用[J].解放军护理杂志, 2014, 19:17-19, 40. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=jfjhlzz201419006 [14] 蒋小花, 沈卓之, 张楠楠, 等.问卷的信度和效度分析[J].现代预防医学, 2010, 3:429-431. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=xdyfyx201003012 -
期刊类型引用(4)
1. 张亚辉,盖婷,马玲,杨丽媛,冯琳,何治平,杨廷龙. 医疗安全不良事件认知量表编制及信效度分析. 江苏卫生事业管理. 2024(05): 659-662 . 百度学术
2. 郭晓颖,李圆圆,郭薇,束燕,林陶玉. 护士不良事件上报行为的影响机制研究. 军事护理. 2023(08): 92-96 . 百度学术
3. 陈彬彬,张清. 慢性阻塞性肺疾病患者家庭管理评估问卷的研制及信效度检验. 中国全科医学. 2018(28): 3523-3526+3532 . 百度学术
4. 豆静,郭昕,姚燕,张艳秋. 改编OSSIQ测量不同主观皮肤类型人群生活质量的信度和效度分析. 吉林大学学报(医学版). 2017(02): 435-440 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 298
- HTML全文浏览量: 51
- PDF下载量: 16
- 被引次数: 6