作者投稿
专家审稿
编辑办公
邮件订阅
RSS
Exploration and Practice on Multivariate Generalizability Theory in Objective Structured Clinical Examination for Resident Training
-
摘要:
目的 探索科学客观评价住院医师规范化培训中临床实践技能的考核办法。 方法 对北京协和医院放射科住院医师规范化培训临床技能进行客观结构化临床考试(objective structured clinical examination, OSCE), 采用多元概化理论对考试成绩进行方差分析、D研究和G研究。 结果 本次OSCE总的相对概化系数为0.917, 绝对概化系数为0.912, 本次考核信度较高。考试站点增加为6站可以提高考试信度, 相对概化系数提高至0.976。 结论 多元概化理论能科学客观地评价住院医师OSCE临床技能考核结果。 Abstract:Objective To explore the scientific and objective assessment methods for evaluating the clinical practice skills of residents undergoing standardized training.Methods Methods Multivariate generalizability theory was used to analyze the scores of objective structured clinical examination(OSCE) of clinical skills of trainees in Department of Radiology in Peking Union Medical College Hospital by analysis of variance, D analysis and G analy-sis. Results The total relative generalizability coefficient of OSCE was 0.917, and the absolute generalizability coefficient was 0.912, which showed that the reliability of this assessment was higher. Test site increased to 6 stations which would greatly improve the test reliability, the relative generalizability coefficient increased to 0.976. Conclusions Multivariate generalizability theory is an objective and scientific tool to evaluate the OSCE stations, and the analysis results are helpful to improve the practice for future OSCE. -
表 1 放射科住院医师临床技能OSCE考试成绩及描述统计(x±s)
考站 组1(x=40) 组2(n=40) 均数(x ) 标准差(s) 均数(x) 标准差(s) 考站1 94.69 10.69 81.91 11.82 考站2 98.96 9.28 81.28 13.01 考站3 94.28 10.75 90.28 11.57 考站4 94.34 9.42 93.60 10.75 考站5 89.58 4.62 87.91 4.62 
下载: 导出CSV
表 2 放射科住院医师临床技能OSCE考试成绩概化研究设计
测量测面 标签 水平 全域值 组别 G 2 2 考站 S 5 5 考生与组别 R:G 40 ∞ 考官与考站 D:S 2 20
下载: 导出CSV
表 3 考生、考站和考官之间交互作用的方差分析
方差来源 方差平方和
(SS)自由度
(df)均方
(MS)随机方差成分
(Random)混合方差成分
(Mixed)修正方差成分
(Corrected)各项方差构成比
(%)标准误
(SE)G 10 414.85 1 10414.85 19.28 23.71 11.86 6.90 21.53 R:G 38 825.51 78 497.76 35.67 46.25 46.25 27.10 7.95 S 3300.81 4 825.20 -9.80 3.52 3.52 2.10 8.99 D:S 737.30 5 147.46 0.60 1.65 1.65 1.00 1.19 G:S 9384.12 4 2346.03 26.51 26.60 26.60 15.60 16.94 GD:S 498.33 5 99.67 2.11 2.11 2.11 1.20 1.33 RS:G 44 018.62 312 141.09 62.82 63.46 63.46 37.10 5.66 RD:GS 6023.99 390 15.45 15.45 15.45 15.45 9.00 1.10 合计 113 203.53 799 - - - - 100 -
下载: 导出CSV
表 4 考生、考站和考官之间交互作用的G研究
方差来源 区别性
方差相对误差 绝对误差 方差
(S2)百分比
(%)方差
(S2)百分比
(%)G 11.857 … … … … R:G 46.245 … … … … S … … … 0.141 2.5 D:S … … … 0.158 2.8 G:S … 1.064 20.1 1.064 19.1 GD:S … 0.201 3.8 0.201 3.6 RS:G … 2.539 48.1 2.539 45.5 RD:GS … 1.477 28.0 1.477 26.5 合计 58.101 5.281 100 5.580 100 …代表无数据
下载: 导出CSV
表 5 各考站信度分析
测量侧面 考站 相对G系数 绝对G系数 S 1 0.819 0.812 S 2 0.809 0.798 S 3 0.839 0.832 S 4 0.839 0.834 S 5 0.872 0.868
下载: 导出CSV
表 6 增加考站数量后考试信度的变化
观察值 原方案 优化方案1 优化方案2 优化方案3 优化方案4 考站数 5 6 7 8 9 相对G系数 0.917 0.976 0.948 0.956 0.963 绝对G系数 0.912 0.974 0.945 0.954 0.961
下载: 导出CSV
-
[1] 中国住院医师规范化培训制度发展报告(2014).中华人民共和国卫生和计划生育委员会[EB/OL]. 2015-5-11. http://www.moh.gov.cn/qjjys/s3594/201505/953d3206bb1c4c869944e0a139328a0d.shtml [2] Cronbach LJ, Gleser GC, Nanda H, et al. The dependability of behavioral measurements:Theory of generalizability for scores and profiles[M]. NewYork:Wiley, 1972:10-24. [3] Brennan RL. Generalizability Theory[M]. New York:Springer, 2001:6-12. [4] 杨志明, 张雷.测评的概化理论及其应用[M].北京:教育科学出版社, 2002:61-71. [5] 胡加圣.最新概化理论工具EduG及其外语教学应用分析[J].外语学刊, 2014, 186:113-121. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=wyxk201406024 -
点击查看大图
表(6)
计量
- 文章访问数: 239
- HTML全文浏览量: 40
- PDF下载量: 9
- 被引次数: 0
