作者投稿
专家审稿
编辑办公
邮件订阅
RSS
Interpretation on the Standard Artificial Intelligence Medical Device-Quality Requirements and Evaluation-Part 2: General Requirements for Datasets
-
摘要: 数据集作为人工智能医疗器械行业的重要基础资源，已纳入医疗器械的监管视野。国家药品监督管理局于2022年发布了行业标准YY/T 1833《人工智能医疗器械 质量要求和评价》系列标准，其中第2部分为数据集通用标准，该标准描述了数据集对文档、质量特性的要求，提出了数据集质量评价方法，指导数据集制造责任方从源头加强数据集质量控制，为数据集质量评价提供了统一规范，有利于帮助临床机构加强数据集建设，更好地对接产业发展需求。本文对该部分标准的制订背景及要点内容进行解析，以期更好地指导行业应用。
-
关键词:
- YY/T 1833.2-2022 /
- 人工智能 /
- 医疗器械 /
- 数据质量 /
- 数据集
Abstract: Datasets, as an important resource for artificial intelligence medical device industry, have been placed under medical device supervision. National Medical Products Administration (NMPA) has published a sectoral standard named YY/T 1833.2-2022 Artificial Intelligence Medical Device-Quality Requirements and Evaluation-Part 2: General Requirement for Datasets to guide dataset quality evaluation. This standard describes dataset requirements for documentation and quality measures, proposes evaluation methods, and helps dataset producers enhance quality control from the source. It would benefit clinical agencies in dataset construction and better meet industry need. This article introduces the background and key points of the standard, in order to better guide the applications in artificial intelligence medical device industry.-
Key words:
- YY/T 1833.2-2022 /
- artificial intelligence /
- medical device /
- data quality /
- dataset
作者贡献：王浩负责撰写论文；孟祥峰、郝烨负责修订、校对论文；李佳戈提出文章撰写思路；李静莉负责论文审核。利益冲突：所有作者均声明不存在利益冲突 -
表 1 与数据价值相关的质量特性
质量特性 注意事项 准确性 医院采集的信息是否接近“真值”？ 完备性 诊疗信息是否全面？ 唯一性 数据样本之间能否避免重复？ 一致性 数据质量在流转过程中能否保持不变？ 多中心建库的数据质量水平是否接近？ 确实性 数据是否真实？ 时效性 数据能否反映当下的技术水平？ 精度 数据采集、标注是否精细？ 代表性 数据集能否充分模拟临床患者特征？ 
下载: 导出CSV
表 2 与使用质量相关的质量特性
质量特性 注意事项 可访问性 用户访问数据是否方便？ 可及性 用户检索和使用数据是否方便？ 可理解性 用户能否掌握数据及其标注结果的含义？ 可移植性 数据集在不同操作系统、运行环境下能否迁移？ 可恢复性 数据集发生失效事件时，能否被修复？ 资源利用性 对数据集进行操作时，需要调用多少计算资源、存储资源？
下载: 导出CSV
表 3 与管理相关的质量特性
质量特性 注意事项 保密性 数据集的开发过程能否保护患者隐私和数据安全？ 依从性 数据集的开发过程执行了哪些法规、技术标准、临床指南？ 可追溯性 数据集的开发过程是否保留了必要的记录，例如采集、标注？
下载: 导出CSV
-
[1] Rajpurkar P, Chen E, Banerjee O, et al. AI in health and medicine[J]. Nat Med, 2022, 28: 31-38. doi: 10.1038/s41591-021-01614-0 [2] Bartels R, Dudink J, Haitjema S, et al. A Perspective on a Quality Management System for AI/ML-Based Clinical Decision Support in Hospital Care[J]. Front Digit Health, 2022, 4: 942588. doi: 10.3389/fdgth.2022.942588 [3] 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016. [4] 国家药品监督管理局医疗器械技术审评中心. 人工智能医疗器械注册审查指导原则[EB/OL]. (2022-03-09)[2023-10-10]. https://www.cmde.org.cn//xwdt/shpgzgg/gztg/20220309090800158.html .[5] US Food and Drug Administration. Good Machine Learning Practice for Medical Device Development: Guiding Principles[EB/OL]. (2021-10)[2023-10-07]. https://www.fda.gov/media/153486/download .[6] IEEE Standards Association. IEEE Recommended Practice for the Quality Management of Datasets for Medical Artificial Intelligence[S]. IEEE 2801-2022. Piscataway, New Jercy, US, 2022. [7] 国家药品监督管理局. YY/T 1833.2-2022人工智能医疗器械 质量要求和评价 第2部分: 数据集通用要求[S]. 北京: 中国标准出版社, 2022. [8] Gualo F, Rodríguez M, Verdugo J, et al. Data quality certification using ISO/IEC 25012: Industrial experiences[J]. J Syst Software, 2021. doi: 10.1016/j.jss.2021.110938. [9] 潘岳松. 临床研究的数据管理与质量控制[J]. 协和医学杂志, 2018, 9: 458-462. doi: 10.3969/j.issn.1674-9081.2018.05.016 [10] Inau ET, Sack J, Waltemath D, et al. Initiatives, Concepts, and Implementation Practices of FAIR (Findable, Accessi-ble, Interoperable, and Reusable) Data Principles in Health Data Stewardship Practice: Protocol for a Scoping Review[J]. JMIR Res Protoc, 2021, 10: e22505. doi: 10.2196/22505 [11] 王浩, 孟祥峰, 王权, 等. 人工智能医疗器械用数据集管理与评价方法研究[J]. 中国医疗设备, 2018, 33: 1-5. https://www.cnki.com.cn/Article/CJFDTOTAL-YLSX201812001.htm [12] 李雪迎, 沙若琪, 姚晨, 等. 利用医院电子病历数据开展临床研究的信息安全策略[J]. 中国食品药品监管, 2020(11): 48-55. https://www.cnki.com.cn/Article/CJFDTOTAL-YPJD202011008.htm [13] 李珂璇, 孙振, 邱辉忠, 等. 北京协和医院结肠癌专病数据库的建立: 单中心数据库经验[J]. 协和医学杂志, 2023, 14: 566-574. doi: 10.12290/xhyxzz.2022-0538 [14] 中华医学会放射学分会, 中国食品药品检定研究院, 国家卫生健康委能力建设与继续教育中心, 等. 胸部CT肺结节数据集构建及质量控制专家共识[J]. 中华放射学杂志, 2021, 55: 104-110. [15] 中华医学会放射学分会乳腺学组. 乳腺X线数据库构建及质量控制专家共识[J]. 中华放射学杂志, 2022, 56: 959-966. [16] 于伟泓, 张潇, 吴婵, 等. 糖尿病视网膜病变眼底彩照人工智能研究标准数据库的建立规范[J]. 协和医学杂志, 2021, 12: 684-688. doi: 10.12290/xhyxzz.2021-0613 [17] 张丽鑫, 钱庆, 唐明坤, 等. 人工智能医疗器械标准数据集构建现状[J]. 中华医学图书情报杂志, 2021, 30: 1-8. https://www.cnki.com.cn/Article/CJFDTOTAL-YXTS202108001.htm [18] 冯晓彬, 黎成权, 杨爱平, 等. 《肝胆疾病标准数据规范》系列解读[J]. 中华消化外科杂志, 2021, 20: 29-34. [19] 马兆毅, 蒋薇, 宋超, 等. 肺部病变多模态影像和乳腺癌X线医学人工智能标准数据集研究[J]. 科技成果管理与研究, 2023, 18: 89-91. [20] 谷晓芳, 王颖, 马兆毅, 等. 乳腺X射线摄影图像测评数据库相关要求的探讨[J]. 中国医疗设备, 2021, 36: 25-28. https://www.cnki.com.cn/Article/CJFDTOTAL-YLSX202112006.htm [21] 杨雨佳, 华扬, 马兆毅, 等. 多中心无心脑血管疾病危险因素成年受检者颈动脉内-中膜厚度的相关因素分析[J]. 中国脑血管病杂志, 2023, 20: 537-543. https://www.cnki.com.cn/Article/CJFDTOTAL-NXGB202308005.htm [22] 孟祥峰, 王浩, 张超, 等. 医学人工智能产品检测平台的设计[J]. 医疗卫生装备, 2023, 44: 1-7. https://www.cnki.com.cn/Article/CJFDTOTAL-YNWS202301016.htm -
点击查看大图
表(3)
计量
- 文章访问数: 276
- HTML全文浏览量: 30
- PDF下载量: 44
- 被引次数: 0
