[发明专利]一种基于深度神经网络的肾小球细胞图像识别方法

权利要求书

1.一种基于深度神经网络的肾小球细胞图像识别方法，其特征在于，所述方法包括以下步骤：

获取待检测的病理图像；

对病理图像进行预处理得到多个切片图像；

将各个切片图像输入到识别分割神经网络模型中进行识别分割得到肾小球区域切片图；

将肾小球区域切片图输入到预设神经网络模型中进行识别肾小球内细胞及计数。

2.根据权利要求1所述的一种基于深度神经网络的肾小球细胞图像识别方法，其特征在于，将各个切片图像输入到识别分割神经网络模型中进行识别分割得到肾小球区域切片图的方法为：

其中，识别分割神经网络模型的获得过程为：

构建FastFCN、SegNet、U-net及各种变体、RefineNet中任意一种神经网络；

通过留出法、交叉验证法、留一法、自助法中任意一种方法将各个切片图像划分为训练集和测试集；

将训练集中的切片图像输入神经网络中进行训练得到将训练集中的切片图像输入神经网络中进行训练得到识别分割神经网络模型，将各个切片图像输入到识别分割神经网络模型中进行识别分割得到包含肾小球区域切片图。

3.根据权利要求2所述的一种基于深度神经网络的肾小球细胞图像识别方法，其特征在于，所述神经网络为U-Net，所述U-Net为全卷积神经网络，是端到端的网络，即输入输出均为图像；将病理图像输入U-Net中，在收缩路径中通过卷积层后采用激活函数对病理图像进行下采样，提取该病理图像的特征图，再在扩展路径中进行上采样，并在每次上采样时添加收缩路径中得到的对应特征图，最终实现对病理图像中每个像素点的第一异常概率矩阵的提取。

4.根据权利要求3所述的一种基于深度神经网络的肾小球细胞图像识别方法，其特征在于，所述U-Net由编码器和解码器组成，编码器的输入为切片图像，编码器将第四层输出的特征图输出给解码器，并将其第一、第二以及第三层输出的特征图分别输出给解码器的第一、第二以及第三层；编码器用于提取细胞特征信息：颜色、形态、大小、位置、纹理，由5个层级组成，每个层级包含若干个改进的ResBlock及下采样操作，所述神经网络中编码器第1层级通过1个改进的ResBlock生成第一层的特征图，经1次下采样得第2层级输入，第2层级通过1个改进的ResBlock生成第二层的特征图，经1次下采样得第3层输入，第三层级通过1个改进的ResBlock生成第三层的特征图，经1次下采样得第4层输入，第四层级通过1个改进的ResBlock生成第四层的特征图，经1次下采样得第5层的输入，第五层级通过1个改进的ResBlock生成解码器最终的特征图，从而编码器经过逐层级的卷积、下采样操作提取出低分辨率的整幅图像的全局信息；所述解码器由4个层级组成，第四层级首先将编码器第5层级的特征图通过上采样生成特征图，然后通过跳跃连接与编码器第四层级相同大小的特征图进行拼接，最后经过1个改进的ResBlock生成解码器第四层特征图；同理，解码器第3层、第2层级、第1层级进行同样过程。

5.根据权利要求4所述的一种基于深度神经网络的肾小球细胞图像识别方法，其特征在于，所述改进的ResBlock为将原ResBlock中最后的求和运算使用concat运算来代替得到。

6.根据权利要求1所述的一种基于深度神经网络的肾小球细胞图像识别方法，其特征在于，所述预设神经网络模型的训练过程包括以下步骤：

对病理图像中的肾小球进行标注，并将病理图像中感兴趣区域以进行子图重叠切割得到子图数据；

在将子图数据输入到神经网络进行训练前进行图像增强操作，图像增强操作包括沿图像矩阵的x或y轴随机翻转、按随机角度旋转、随机对比度调整；

根据肾小球的标注将肾小球从病理图像中分割得到包含肾小球图像的分割子图并生成分割子图对应的二值图像，将二值图像中不包含肾小球的部分作为背景标记为0，包含肾小球部分标记为1；将切片图像输入到神经网络中进行训练，得预设神经网络模型。

7.根据权利要求6所述的一种基于深度神经网络的肾小球细胞图像识别方法，其特征在于，将肾小球区域切片图输入到预设神经网络模型中进行识别肾小球内细胞及计数的方法为：

对肾小球区域切片图内的细胞核区域进行标记，将细胞核区域标记后的二值图像将作为肾小球细胞核对应的标签；

标注好肾小球区域切片图中的细胞核区域并生成对应的二值图像后，将分割子图作为训练数据，将对应的二值图像作为标签输入神经网络中进行训练；

神经网络训练完成后，用训练好的神经网络对分割子图中的细胞核进行预测，预测得到的细胞核区域是整个分割子图中的细胞核，还包含肾小球以外区域的细胞核，此时就将对应的分割子图中肾小球的二值图像与预测出来的细胞核二值图像相乘，就将肾小球以外区域变为0，肾小球内部区域数值不变；

通过后处理方法对预测结果进行优化，得到最终预测的细胞核标注，所述后处理方法包括对预测结果的腐蚀、阈值筛选预测结果；最后对预测得到的二值图像中的细胞核数量统计从而进行细胞计数。