融合空间和多尺度特征的乳腺癌免疫组化Ki-67指数定量分析

熊学春, 吴焕文, 任菲, 崔莉, 梁智勇, 赵泽

熊学春, 吴焕文, 任菲, 崔莉, 梁智勇, 赵泽. 融合空间和多尺度特征的乳腺癌免疫组化Ki-67指数定量分析[J]. 协和医学杂志, 2022, 13(4): 581-589. DOI: 10.12290/xhyxzz.2022-0158
引用本文: 熊学春, 吴焕文, 任菲, 崔莉, 梁智勇, 赵泽. 融合空间和多尺度特征的乳腺癌免疫组化Ki-67指数定量分析[J]. 协和医学杂志, 2022, 13(4): 581-589. DOI: 10.12290/xhyxzz.2022-0158
XIONG Xuechun, WU Huanwen, REN Fei, CUI Li, LIANG Zhiyong, ZHAO Ze. An Automatic Quantitative Analysis Method of Ki-67 Index for Breast Cancer Immunohistochemistry Based on Fusion of Spatial and Multi-scale Features[J]. Medical Journal of Peking Union Medical College Hospital, 2022, 13(4): 581-589. DOI: 10.12290/xhyxzz.2022-0158
Citation: XIONG Xuechun, WU Huanwen, REN Fei, CUI Li, LIANG Zhiyong, ZHAO Ze. An Automatic Quantitative Analysis Method of Ki-67 Index for Breast Cancer Immunohistochemistry Based on Fusion of Spatial and Multi-scale Features[J]. Medical Journal of Peking Union Medical College Hospital, 2022, 13(4): 581-589. DOI: 10.12290/xhyxzz.2022-0158

融合空间和多尺度特征的乳腺癌免疫组化Ki-67指数定量分析

基金项目: 

国家重点研发计划 2021YFF1201005

中国科学院A类战略性先导科技专项 XDA16021400

中国科学院网络安全和信息化专项应用示范项目 CAS-WX2021SF-0101

详细信息
    通讯作者:

    梁智勇, E-mail: liangzy@pumch.cn

    赵泽, E-mail: zhaoze@ict.ac.cn

    熊学春、吴焕文对本文同等贡献

  • 中图分类号: R737.9

An Automatic Quantitative Analysis Method of Ki-67 Index for Breast Cancer Immunohistochemistry Based on Fusion of Spatial and Multi-scale Features

Funds: 

National Key Research and Development Program of China 2021YFF1201005

Strategic Priority Research Program of the Chinese Academy of Sciences XDA16021400

Chinese Academy of Sciences Network Security and Informatization Special Application Demonstration Project CAS-WX2021SF-0101

More Information
  • 摘要:
      目的  针对乳腺癌免疫组化全视野数字图像(whole slide image, WSI),提出一种智能化定量分析Ki-67指数的方法。
      方法  回顾性纳入2020年1—12月北京协和医院乳腺癌患者的病理切片,将其以40倍率扫描为WSI图像,并由2名病理科医生按照2019年国际乳腺癌Ki-67工作组制订的指南对Ki-67指数进行人工判读。按5:8的比例随机将WSI图像分为A、B两个数据集(A数据集按7:1:2比例随机分为训练集、验证集和测试集)。病理科医生对A数据集人工标注热点区域后,40倍视野下将每张WSI随机裁剪为2000个512×512像素的图块,随机选取其中的50个图块,对肿瘤细胞进行标注并计算Ki-67指数。采用条件随机场模型融合图块的空间特征,经ResNet34预训练模型进行特征提取后构建热点区域识别模型,并采用准确率评价其性能。在热点区域内,40倍视野下随机选取10个视野,模型可自动完成细胞分类,并计算Ki-67指数均值。以人工判读结果为金标准,计算模型对B数据集Ki-67指数评估结果的准确率,并采用Bland-Altman法对人工判读与模型分析结果进行一致性评价。
      结果  共入选符合纳入和排除标准的乳腺癌患者病理切片132张。其中A数据集50张(训练集、验证集和测试集分别为35张、5张、10张,分别包含图块70 000个、10 000个、20 000个),B数据集82张。模型对测试集热点区域识别的平均准确率为81.5%,对B数据集Ki-67指数计算结果的准确率为90.2%。Bland-Altman法分析显示,人工判读和模型计算的Ki-67指数的一致性良好。
      结论  本研究提出智能化定量分析Ki-67指数的方法准确率高,可辅助病理医师实现Ki-67指数的高效判读。
    Abstract:
      Objective  To propose an intelligent quantitative analysis method of Ki-67 index for breast cancer immunohistochemical whole slide image (WSI).
      Methods  The pathological sections of patients with breast cancer diagnosed and treated in Peking Union Medical College Hospital from January 2020 to December 2020 were retrospectively collected, and scanned at 40 magnification as WSI images. Manual interpretation of the Ki-67 index was conducted by 2 pathologists according to the guidelines formulated by the International Breast Cancer Ki-67 Working Group in 2019, which is considered the gold standard. According to the ratio of 5:8, WSI was randomly divided into two data sets, A and B (data set A was randomly divided into training set, validation set and test set according to a ratio of 7:1:2). After the hot spot area in WSI of the data set A was manually marked, each WSI randomly cropped 2000 512×512 pixel patches in the 40 field of view, and 50 patches of them were randomly selected to label tumor cells and calculate the Ki-67 index. The conditional random field model was used to fuse the spatial features of the image blocks, the features were extracted by the ResNet34 pre-training model to construct a hot spot recognition model, and its performance (accuracy) was evaluated in the test set. In the hot spot area, 10 fields of view were randomly selected under the high-power field of view (×40), and the model automatically completed the cell classification and calculated the average Ki-67 index. Taking the results of manual interpretation as the gold standard, the accuracy of the Ki-67 index evaluation results of the data set B by the model was calculated, and the Bland-Altman method was used to evaluate the consistency between the results of manual interpretation and model analysis.
      Results  A total of 132 pathological sections of patients with breast cancer which met the inclusion and exclusion criteria were selected. There were 50 images in data set A (35, 5, and 10 images in training set, validation set, and test set, including 70 000, 10 000, and 20 000 patches, respectively), and 82 images in data set B. The average accuracy of the model for identifying hot spots in the test set was 81.5%, and the accuracy of the Ki-67 index calculation results for the B data set was 90.2%. Bland-Altman analysis showed that the Ki-67 index calculated by manual interpretation and model was in good agreement.
      Conclusion  The intelligent quantitative analysis method of Ki-67 index proposed in this study has high accuracy and can assist pathologists to achieve efficient interpretation of Ki-67 index.
  • 国际癌症研究机构发布的2020年全球癌症统计数据显示,乳腺癌已成为女性最高发的恶性肿瘤(新增病例在所有肿瘤中占比11.7%),每年可导致68.5万病例死亡[1]。准确诊断是精准治疗的前提。Ki-67是乳腺癌诊断过程中常用的免疫组化标志物,是评估肿瘤细胞增殖活性的关键指标,Ki-67指数可作为乳腺肿瘤良恶性及其恶性程度的辅助诊断指标。一般情况下,乳腺癌的Ki-67指数高于10%,随Ki-67指数升高,肿瘤生长加快、组织分化能力降低,患者预后较差[2]

    目前临床工作中,Ki-67指数大多需病理医生通过显微镜对肿瘤细胞进行人工计数获得[3];部分研究通过浏览整张免疫组化染色的全视野数字图像(whole slide image, WSI),采用视觉评估法计算Ki-67指数[2]。上述方法工作量大、效率低、准确率差且具有主观性。2019年10月,国际乳腺癌Ki-67工作组(International Ki-67 in Breast Cancer Working Group,IKWG)召开会议, 讨论了Ki-67免疫组化检测在乳腺癌诊断与治疗中的应用现状[4],指出基于机器学习的自动化评估可能有助于解决当前Ki-67免疫组化判读中的难题[2, 4-5]。当前,深度学习在病理图像处理领域已取得了显著成效[6-8],自动化评估Ki-67指数亦取得重要进展。根据病理图像的处理方式,大致可分为两类:一类是基于图像处理技术,一类是基于机器学习和神经网络。Xing等[9]提出了一种基于全卷积网络的KiNet模型,对Ki-67细胞核进行检测和识别,并在胰腺神经内分泌肿瘤数据集中得到了良好的分类效果验证,曲线下面积(area under the curve, AUC)为0.724。Negahbani等[10]利用点标注的方式制作了SHIDC-B-Ki-67数据集,并提出一种用于Ki-67细胞检测和分类的模型,对免疫阳性细胞、免疫阴性细胞和淋巴细胞检测和分类的精确度为77.66%。Shete等[11]将基于染色强度的阈值化和分水岭分割方法相结合,依据细胞染色区域面积、细胞形态学特征、纹理特征等实现了对乳腺肿瘤细胞恶性程度自动化检测。Ko等[12]对图像进行染色归一化,分离染色区域后实现重叠细胞核分离,改善了不同实验室或环境中由染色变化引起的图像处理问题。但上述研究均是在单个图块上对Ki-67指数进行定量分析,并将部分区域定量分析的结果代替整张WSI的Ki-67指数。本研究提出一种智能化定量分析Ki-67指数的方法,可识别整张WSI中的Ki-67指数,提高Ki-67指数评估的准确性和客观性。

    回顾性纳入2020年1— 12月北京协和医院乳腺癌患者的病理切片。纳入标准:根据组织病理和免疫组化结果,确诊为乳腺浸润性癌;排除标准:切片质量不合格。

    采用德国Leica公司Aperio AT2高通量切片扫描仪将病理切片以40倍率扫描为WSI图像。由2名病理科医生根据2019年IKWG制定的指南[4]对所有WSI中的Ki-67指数进行人工判读后,按5:8的比例随机将WSI图像分为A、B两个数据集。2名病理科医生选取WSI中Ki-67阳性肿瘤细胞最集中且分布均匀的区域(热点区域,图 1)对A数据集进行标注,用于WSI热点区域识别模型训练与测试;B数据集用于评估模型对Ki-67指数计算结果的准确性,并采用Bland-Altman法[13]对人工判读与智能定量分析结果进行一致性评价。

    图  1  乳腺癌Ki-67指数免疫组化病理图像标注示例
    A.热点区域;B、C.正常组织区域

    本研究已通过北京协和医院伦理审查委员会审批(审批号:S-K311),并豁免患者知情同意。

    本研究提出的Ki-67指数智能化定量分析方法主要包括2个部分(图 2):(1)提出一种融合空间和多尺度特征的高精度乳腺癌WSI热点区域识别模型;(2)在识别出的热点区域内,40倍视野下随机选取每张WSI的10个视野进行自动细胞识别、分类、计数,计算10个视野下的Ki-67指数均值,为整张WSI的Ki-67指数。

    图  2  Ki-67指数智能化定量分析方法整体框架
    WSI: 全视野数字图像

    由于WSI制作、扫描过程中可因抖动、电子脉冲干扰等因素的影响,导致图像失真、模糊,在分析前需进行预处理。结合实际情况和预试验比较结果,借助Opencv-Python库并采用高斯滤波对图像进行去噪、平滑图像、去除空白背景等处理[14]。由于在HSV(Hue, Saturation, Value)颜色空间中分析更方便,首先根据公式(1)将原始图像从RGB颜色空间转换至HSV颜色空间,然后基于Otsu算法[15]获取二值化的组织掩码,并进行形态学开闭运算,提取组织区域图像。

    $$ \left\{\begin{array}{l} V=\max (R, G, B) \\ S=\frac{\max (R, G, B)-\min (R, G, B)}{\max (R, G, B)} \\ H=\left\{\begin{array}{l} 60 \times \frac{G-B}{S \times V}, \text { 如果 } S \neq 0, \text { 且 } \max (R, G, B)=R \\ 60 \times\left(2+\frac{B-R}{S \times V}\right), \text { 如果 } S \neq 0, \text { 且 } \max (R, G, B)=G \\ 60 \times\left(4+\frac{R-G}{S \times V}\right), \text { 如果 } S \neq 0, \text { 且 } \max (R, G, B)=B \end{array}\right. \end{array}\right. $$ (1)

    其中,RGB分别表示红色、绿色、蓝色,取值范围均为[0, 255];H为色调,取值范围为[0, 1];V为明度,取值范围为[0, 255]。

    按7:1:2的比例将A数据集随机分为训练集、验证集和测试集。采用ASAP(Automated Slide Analysis Platform) 软件对热点区域进行标注,然后提取热点区域掩码图像。用组织区域图像减去热点区域即可获取正常区域掩码图像。在2种图像内部,将原始WSI图像于40倍视野下随机裁剪为2000个512×512像素的图块(patch)。在上述图块中随机选取50个,对其中的Ki-67阳性肿瘤细胞、阴性肿瘤细胞和非肿瘤细胞进行标注(Ki-67指数的计算仅包括肿瘤细胞,若不排除非肿瘤细胞,Ki-67指数将偏低),见图 3。标注后,计算Ki-67指数[16]

    图  3  热点区域内图块标注示例
    A.热点区域内随机选取的图块;B.标注结果,其中实心圆为Ki-67阳性肿瘤细胞,实心矩形为Ki-67阴性肿瘤细胞,“X”为非肿瘤细胞

    WSI可完全保留病理切片上的原始组织特征信息,对于数据量巨大且缺乏像素级的标注,病理医生可通过缩放、拖拽、平移图像的方式浏览整张WSI图像。在作出诊断决策时,需同时考虑单个区域相邻的信息和不同区域之间的相关性信息,最后确定整张WSI图像的Ki-67指数[8]。常用的病理图像分类深度学习方法,一般是将一张数万×数万像素的WSI切分为数万张图块,通过病理医生对热点区域的粗标注引入医学先验知识[17],此时数万张图块对应一个标签,然后采用VGG[18]、ResNet[19]、MobileNet[20]等卷积神经网络模型对图块进行分类[21]。此种分类方法会导致图块在整张WSI图像中的空间位置信息丢失,无法融合相邻图块的信息和空间位置信息。

    针对该问题,本研究采用一种融合空间和多尺度特征的乳腺癌WSI热点区域识别方法,即条件随机场模型[22](图 4A)。条件随机场模型是Lafferty等[23]于2001年提出的将最大熵模型和隐马可夫模型相结合的一种概率无向图模型。该模型在自然语言处理中的命名实体识别任务以及计算机视觉中的图像分割任务等领域均有广泛应用。

    图  4  图块之间的概率无向图模型示意图

    在概率无向图模型中,随机变量之间的关系较直观,易于理解。在实际应用时,目的是计算联合概率分布。为简化计算,假设将WSI中的图块设置为X1X2X3Xn,若一个图块为热点区域,则其相邻图块为热点区域的概率很大(图 4B)。进一步对图块的关系简化(图 4C),并根据公式(2)计算模型的联合概率分布。

    $$ \begin{aligned} P\left(x_{1}, x_{3}, x_{4}\right)=& \frac{1}{Z(x)}\left[\psi_{1}\left(X_{1}, X_{3}\right) \times \psi_{2}\left(X_{3}, X_{4}\right)\right.\\ &\left.\times \psi_{2}\left(X_{1}, X_{4}\right)\right] \end{aligned} $$ (2)

    经图像预处理获取热点区域和正常组织区域的图块后,将训练集和验证集图块输入至ResNet34预训练模型[19]进行特征提取。每个图块被编码为固定长度的Embedding,作为概率无向图模型中的节点进行空间特征维度建模。模型可输出每个图块的位置分布概率,用以判定特定图块是否位于热点区域。高精度乳腺癌WSI热点区域识别模型框架见图 5

    图  5  乳腺癌WSI热点区域识别模型整体框架图
    WSI: 同图 2

    硬件参数:Linux版本为CentOS 3.10.0~693.el7.x86_ 64,CPU版本为Intel(R)Xeon(R) Silver 4114 @ 2.20 GHz,显卡为NVIDIA GeForce RTX 2080 Ti(显存容量11 GB,显存位宽352 b,显存频率14 000 MHz),内存为32GB 2666 MHz DDR4。软件环境:编程语言为Python 3.6.5,相关的深度学习框架为Torch,CUDA及cuDNN环境分别为10.0和7.4,CPU环境运行下的编译器为GCC 4.8。Python计算包:Torchvision 0.4.2,Opencv-Python 4.5.1.48,Openpyxl 3.0.9,Openslide-Python1.1.2。模型训练时的参数:Batch Size为32,优化器为Adam,学习率为0.001,损失函数为Cross Entropy,Epoch为30。

    WSI输入经过训练的ResNet34热点区域识别模型,获取热点区域概率热力图,其中概率高于0.5的区域认定为热点区域。在热点区域内,40倍视野下随机选取10个视野进行Ki-67指数计算。首先对输入的RGB图像进行预处理,然后按照公式(3)将RGB值转换成光密度(optical density, OD)空间:

    $$ O D=-\log 10\left(\frac{I}{I_{0}}\right) $$ (3)

    其中,I为RGB空间的颜色矢量,$\frac{I}{I_{0}}$为其归一化后的结果,即标准化OD矩阵[24],取值范围为[0, 1]。OD矩阵的逆矩阵即为所需的反卷积矩阵。Ki-67免疫组化染色图像中感兴趣的颜色为蓝色(H)和棕色(DAB),其中棕色由黄色或橙色(红色+绿色)与较低比例的黑色或蓝色混合组成。由于棕色的主要成分为红色和绿色,与H相关的颜色以蓝色为主,因此可采用颜色反卷积法[25]分离、区分DAB和H染色。由于细胞之间存在重叠现象,需采用基于距离变换的分水岭算法对颜色反卷积法获取的二值化图像进行处理,具体算法如下:首先将颜色反卷积后的图像转换为灰度图并进行开闭操作,以消除边界上的干扰;然后对灰度图进行距离变换,将粘连的细胞“打断”;最后进行膨胀和填充等操作,采用基于连通分量的方法分别对Ki-67阳性肿瘤细胞、Ki-67阴性肿瘤细胞和非肿瘤细胞进行自动标记和计数,计算Ki-67指数(图 6)。

    图  6  肿瘤细胞计数方法

    采用SPSS 23.0软件进行统计学分析。以病理科医生人工判读结果为金标准,计算模型对热点区域识别的准确率以及识别的Ki-67指数误差,误差在±0.2之间视为模型计算结果正确。采用Bland-Altman法评价人工判读和模型计算Ki-67指数的一致性。

    共入选符合纳入和排除标准的乳腺癌患者病理切片132张。其中A数据集50张(训练集、验证集和测试集WSI图像分别35张、5张、10张,分别包含图块70 000个、10 000个、20 000个),B数据集82张。

    训练后的ResNet34模型对测试集热点区域识别的平均准确率为81.5%。热点区域可视化结果见图 7

    图  7  热点区域可视化识别结果
    A.病理科医生人工标注;B.模型预测的热点区域概率热力图;C.模型预测的二值热力图;D.模型预测的热点区域

    在热点区域识别的基础上,模型可根据选取的视野,自动对细胞进行分类、计数(图 8),最终计算整张WSI中的Ki-67指数。以病理科医生人工判读结果为金标准,本研究该模型对B数据集82张切片Ki-67指数计算准确率为90.2%(74/82)。

    图  8  模型对细胞分类计数结果
    A.Ki-67阳性肿瘤细胞(标注红“+”);B.Ki-67阴性肿瘤细胞(标注绿“●”);C.非肿瘤细胞(标注红“*”)

    采用Bland-Altman法对人工判读与模型计算的Ki-67指数进行一致性评价。Bland-Altman法的基本思想是以原始数据的均值、差值分别为横轴、纵轴绘制散点图,计算二者差值的均数(d)及标准差(SD),并得出95%一致性界限(limits of agreement, LOA),即一致性较好的标准为95%的差值位于该LOA内。

    图 9所示,82个Ki-67指数差值中,78个(95.12%)位于LOA范围内,4个(4.88%)位于LOA范围外,d =-0.033 90,SD为0.161 882, 标准误为0.01,LOA范围为-0.3460~ 0.2831。两种方法测定的Ki-67指数结果一致性较好[24]

    图  9  Ki-67指数一致性评价结果的Bland-Altman图

    乳腺癌免疫组化Ki-67指数在治疗方案制订和预后风险评估中占据重要地位,临床意义显著。目前在临床工作中,人工判读Ki-67指数工作量大,结果具有主观性,亟需探寻一种高效、易操作且准确率高的Ki-67指数评估方法。本研究基于ResNet34算法,首次构建针对乳腺癌WSI图像可自动识别并输出Ki-67指数的智能化判读系统,结果显示该方法对Ki-67指数计算结果的准确率为90.2%,与人工判读结果一致性较好,有望应用于临床,辅助临床决策。

    组织病理是肿瘤确诊的金标准,病理科医生通过对病理切片进行观察,可为肿瘤诊断提供最重要的依据。免疫组化是组织病理学与细胞病理学的关键组成部分,在肿瘤诊断、分子分型、精准治疗等方面均具有极大的影响力,但实际应用过程中,受判读区域选择、计数细胞总和、计数方法等因素的影响,其结果准确性、可重复性方面仍存在诸多挑战。近年来,人工智能技术快速崛起,其在医学中的应用越来越广泛,医工结合、医工交叉已成为研究的新趋势[26]。但既往主要针对病理图像的图块进行研究,尚缺乏直接可识别整张WSI图像中Ki-67指数的方法[9-12]。本研究基于深度学习技术建立的整张WSI图像中Ki-67指数智能定量方法,在判读区域选择、计数细胞总和、计数方法3个方面均有明显改进,在保障了Ki-67指数判读结果的高准确率和可重复性的同时,可快速(识别一张WSI图像平均耗时60 s)输出结果,优势明显。

    由于肿瘤细胞具有较高的异质性,在乳腺癌免疫组化WSI图像中,Ki-67阳性肿瘤细胞多呈不均匀分布,存在明显的热点区域、冷点区域和边缘区域,不同区域内的Ki-67指数存在较大差异,其中以热点区域最高,边缘区域次之,冷点区域最低。因此,判读区域选取不同,必然导致Ki-67指数判读结果不一致,影响结果的准确性。IKWG建议,乳腺癌Ki-67指数免疫组化WSI中,若存在热点区域,则判读区域应选择在热点区域内[26]。本研究建立的融合空间和多尺度特征的高精度乳腺肿瘤WSI热点区域识别模型,对热点区域具有较高的识别能力(平均准确率为81.5%)且速度较快,结果重复性好,是Ki-67指数计算结果具有高准确率的前提和重要保障。

    判读区域选定后,需对区域内细胞进行识别与分类,以计算Ki-67指数。对于细胞较少的区域,Ki-67指数判读结果稳定性差。部分国家的指南指出,应在热点区域计数200个肿瘤细胞进行Ki-67指数判读[27]。IKWG建议,免疫组化Ki-67指数定量分析中,每个区域内以计数1000个肿瘤细胞为宜,至少不应低于500个肿瘤细胞。本研究Ki-67指数智能化量系统在计算Ki-67指数前,首先对区域内肿瘤细胞进行计数,若Ki-67阳性肿瘤细胞数量不足500个,则需重新选择判读区域,因此保障了结果的准确性、稳定性和客观性。

    显微镜下人工阅片对肿瘤细胞进行分类,易发生“误数”或“漏数”的现象,导致计算结果不准确。本研究构建的模型可程序化自动分类与计数,不仅结果准确(准确率为90.2%)、省时高效,且避免主观因素的影响。Bland-Altman法一致性评价结果显示,人工判读与模型计算Ki-67指数的一致性良好,提示该智能定量方法对Ki-67指数判读结果的误差较小,可达到人工阅片水平,再次验证了其具有准确性高和可重复性好的优势。

    本研究局限性:(1)受限于样本量,虽然模型对Ki-67指数的评估具有较高的准确性,但模型仍可能存在过拟合现象;(2)缺乏多中心数据对模型的性能进行外部验证。

    综上,本研究提出的融合空间和多尺度特征的乳腺癌免疫组化Ki-67指数智能定量分析方法,可快速、准确、客观对Ki-67指数进行判读,辅助病理科医生完成乳腺癌诊断,提升了工作效率,为乳腺癌患者进行精准分子分型和个体化治疗提供科学可信的理论依据和技术支持。

    作者贡献:熊学春负责对人工智能分析计算方法流程的实现及论文撰写;吴焕文负责病理图像收集、标注及论文撰写;任菲负责选题构思、论文修订;崔莉负责分析方法技术指导;梁智勇负责病理诊断流程制定、结果评测;赵泽负责智能分析方法指导、深度学习相关方案设计、论文修订与审核。
    利益冲突:所有作者均声明不存在利益冲突
  • 图  1   乳腺癌Ki-67指数免疫组化病理图像标注示例

    A.热点区域;B、C.正常组织区域

    图  2   Ki-67指数智能化定量分析方法整体框架

    WSI: 全视野数字图像

    图  3   热点区域内图块标注示例

    A.热点区域内随机选取的图块;B.标注结果,其中实心圆为Ki-67阳性肿瘤细胞,实心矩形为Ki-67阴性肿瘤细胞,“X”为非肿瘤细胞

    图  4   图块之间的概率无向图模型示意图

    图  5   乳腺癌WSI热点区域识别模型整体框架图

    WSI: 同图 2

    图  6   肿瘤细胞计数方法

    图  7   热点区域可视化识别结果

    A.病理科医生人工标注;B.模型预测的热点区域概率热力图;C.模型预测的二值热力图;D.模型预测的热点区域

    图  8   模型对细胞分类计数结果

    A.Ki-67阳性肿瘤细胞(标注红“+”);B.Ki-67阴性肿瘤细胞(标注绿“●”);C.非肿瘤细胞(标注红“*”)

    图  9   Ki-67指数一致性评价结果的Bland-Altman图

  • [1]

    Cao W, Chen HD, Yu YW, et al. Changing profiles of cancer burden worldwide and in China: a secondary analysis of the global cancer statistics 2020[J]. Chin Med J (Engl), 2021, 134: 783-791. DOI: 10.1097/CM9.0000000000001474

    [2]

    Skjervold AH, Pettersen HS, Valla M, et al. Visual and digital assessment of Ki-67 in breast cancer tissue-a comparison of methods[J]. Diagn Pathol, 2022, 17: 45. DOI: 10.1186/s13000-022-01225-4

    [3]

    Li L, Han D, Yu Y, et al. Artificial intelligence-assisted interpretation of Ki-67 expression and repeatability in breast cancer[J]. Diagn Pathol, 2022, 17: 20. DOI: 10.1186/s13000-022-01196-6

    [4]

    Nielsen TO, Leung SCY, Rimm DL, et al. Assessment of Ki-67 in breast cancer: updated recommendations from the international Ki-67 in breast cancer working group[J]. J Natl Cancer Inst, 2021, 113: 808-819. DOI: 10.1093/jnci/djaa201

    [5] 刘月平. 国际乳腺癌Ki-67工作组Ki-67评估更新的主要内容解读[J]. 中华病理学杂志, 2021, 50: 704-709. DOI: 10.3760/cma.j.cn112151-20210303-00179

    Liu YP. Interpretation of Ki-67 assessment update of International Ki-67 in Breast Cancer Working Group[J]. Zhonghua Binglixue Zazhi, 2021, 50: 704-709. DOI: 10.3760/cma.j.cn112151-20210303-00179

    [6]

    Zhou SK, Greenspan H, Davatzikos C, et al. A review of deep learning in medical imaging: Imaging traits, technology trends, case studies with progress highlights, and future promises[J]. Proc IEEE, 2021, arXiv: 2008.09104.

    [7]

    Rimm DL, Leung SCY, McShane LM, et al. An interna-tional multicenter study to evaluate reproducibility of automated scoring for assessment of Ki-67 in breast cancer[J]. Mod Pathol, 2019, 32: 59-69. DOI: 10.1038/s41379-018-0109-4

    [8]

    Li C, Li XT, Rahaman MM, et al. A comprehensive review of computer-aided whole-slide image analysis: from datasets to feature extraction, segmentation, classification and detection approaches[J]. Artif Intell Rev, 2022, ArXiv: 2102.10553.

    [9]

    Xing F, Cornish TC, Bennett T, et al. Pixel-to-pixel learning with weak supervision for single-stage nucleus recognition in Ki-67 images[J]. IEEE Trans Biomed Eng, 2019, 66: 3088-3097. DOI: 10.1109/TBME.2019.2900378

    [10]

    Negahbani F, Sabzi R, Pakniyat Jahromi B, et al. PathoNet introduced as a deep neural network backend for evaluation of Ki-67 and tumor-infiltrating lymphocytes in breast cancer[J]. Sci Rep, 2021, 11: 8489. DOI: 10.1038/s41598-021-86912-w

    [11]

    Shete PG, Kharate GK. Evaluation of Immunohistochemistry (Ihc) Marker Her2 In Breast Cancer[J]. ICTACT J Image Video Proc, 2016, 7: 1318-1323. DOI: 10.21917/ijivp.2016.0192

    [12]

    Ko CC, Chen YR, Lin WY. Improving the evaluation accuracies of histopathologic grade and Ki-67 immunohistochemistry expression of breast carcinoma using computer image processing(Ⅱ)[C]. 2016 International Computer Symposium (ICS). IEEE, 2016: 410-414.

    [13]

    Altman DG, Bland JM. Measurement in medicine: the analysis of method comparison studies[J]. J Roy Statist Soc: Series D, 1983, 32: 307-317.

    [14]

    Hou L, Samaras D, Kurc T M, et al. Patch-based convolutional neural network for whole slide tissue image classifica-tion[C]. Proceedings of the IEEE Conference on Computer Vision And Pattern Recognition, 2016: 2424-2433.

    [15]

    Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transact Syst Man Cyb, 1979, 9: 62-66. DOI: 10.1109/TSMC.1979.4310076

    [16]

    Abubakar M, Figueroa J, Ali HR, et al. Combined quantitative measures of ER, PR, HER2, and KI67 provide more prognostic information than categorical combinations in luminal breast cancer[J]. Mod Pathol, 2019, 32: 1244-1256. DOI: 10.1038/s41379-019-0270-4

    [17]

    Stepec D, Skocaj D. Unsupervised detection of cancerous regions in histology imagery using image-to-image translation[C]. Proceedings of the IEEE/CVF Conference on Com-puter Vision and Pattern Recognition, 2021: 3785-3792.

    [18]

    Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv, 2014. https://doi.org/10.48550/arXiv.1409.1556.

    [19]

    He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770-778.

    [20]

    Howard AG, Zhu M, Chen B, et al. Mobilenets: Effi-cient convolutional neural networks for mobile vision applications[J]. arXiv, 2017. https://doi.org/10.48550/arXiv.1704.04861.

    [21]

    Ye J, Luo Y, Zhu C, et al. Breast cancer image classification on WSI with spatial correlations[C]. ICASSP 2019—2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2019: 1219-1223.

    [22]

    Li Y, Ping W. Cancer metastasis detection with neural conditional random field[J]. arXiv, 2018. https://doi.org/10.48550/arXiv.1806.07064.

    [23]

    Lafferty J, McCallum A, Pereira F. Conditional random fields: Probabilistic models for segmenting and labeling sequence data[C]. Proc. 18th International Conf. on Machine Learning, 2001: 282-289.

    [24]

    Zheng Y, Jiang Z, Zhang H, et al. Adaptive color deconvolution for histological WSI normalization[J]. Comput Methods Programs Biomed, 2019, 170: 107-120. DOI: 10.1016/j.cmpb.2019.01.008

    [25]

    Geijs DJ, Intezar M, Litjens G, et al. Automatic color unmixing of IHC stained whole slide images[C]. Digit Pathol, 2018, 10581: 105810L.

    [26]

    Kumar N, Gupta R, Gupta S. Whole slide imaging (WSI) in pathology: current perspectives and future directions[J]. J Digit Imaging, 2020, 33: 1034-1040. DOI: 10.1007/s10278-020-00351-z

    [27]

    Goldhirsch A, Winer EP, Coates AS, et al. Personalizing the treatment of women with early breast cancer: highlights of the St Gallen International Expert Consensus on the Primary Therapy of Early Breast Cancer 2013[J]. Ann Oncol, 2013, 24: 2206-2223. DOI: 10.1093/annonc/mdt303

  • 期刊类型引用(1)

    1. 刘国华,闫克丁,邢静,马国军,刘静,陈艳丽. 基于显微图像的乳腺癌细胞识别系统设计. 激光与光电子学进展. 2024(08): 278-284 . 百度学术

    其他类型引用(1)

图(9)
计量
  • 文章访问数:  685
  • HTML全文浏览量:  206
  • PDF下载量:  83
  • 被引次数: 2
出版历程
  • 收稿日期:  2022-03-27
  • 录用日期:  2022-05-25
  • 刊出日期:  2022-07-29

目录

/

返回文章
返回
x 关闭 永久关闭