[发明专利]由全卷积神经网络加速细胞学图像分类的图像预处理

说明书

在针对卷积计算优化的专用处理器上实现的完全卷积网络(FCN)可以实现细胞分类的加速。在不重新优化专用处理器的情况下，通过压缩细胞的测试图像并使用FCN处理压缩的测试图像来实现进一步的加速。测试图像首先被分割成背景和感兴趣区域(ROI)。通过在约束条件下重新排列ROI来将ROI更紧密地打包在一起而不必调整它们的大小，约束条件是使得任何两个相邻的重新排列的ROI分开的像素距离不小于根据FCN卷积层的步幅值确定的最小距离。ROI重新排列的几何操作包括重新定位ROI，并可选地旋转ROI。重新排列的ROI由边界(通常为矩形边界)包围，以形成面积小于测试图像面积的压缩的测试图像。

缩略语清单

2D 二维

ADC 腺癌宫颈内

AGC 非典型腺细胞

AIS 原位腺癌

ASC-H 非典型鳞状细胞-不能排除HSIL

ASC-US 意义不明的非典型鳞状细胞

CNN 卷积神经网络

FCN 全卷积网络

GPU 图形处理单元

HSIL 高级鳞状上皮内

LSIL 低级鳞状上皮内

RGB 红色，绿色，蓝色

ROI 感兴趣区域

SCC 鳞状细胞癌

TBS 贝塞斯达(Bethesda)系统

WSI 整个载玻片图像

技术领域

本发明涉及预处理测试图像以实现由FCN执行的细胞分类中的加速，其中FCN在针对图像的卷积计算优化的专用处理器上实现。

背景技术

在自动癌症筛查中，含有取自人类受试者并转移到载玻片上的细胞的样本被成像，并且通过计算机分析所得到的细胞学图像以搜索任何癌细胞或癌前期异常。在本领域中，CNN通常用于将细胞分类以识别由于CNN实现的高分类准确度而导致的可能的癌细胞或癌前期异常，例如，如于2018年3月2日提交的未决的美国专利申请第15/910,131中公开的系统中所使用的CNN，其公开内容通过引用并入本文。CNN包括用于从测试图像生成特征图或热图的多个层。CNN的最后一层是分类层。除分类层之外，CNN中的每个剩余层可以是卷积层、子采样层或汇集层。分类层可以是完全连接层或卷积层。如果分类层是卷积层，则CNN变成完全卷积神经网络或简称为FCN。由于计算图像的卷积乘积的序列具有高度的并行性，因此专门的处理器(如GPU)被设计为旨在利用此并行性来加速图像的卷积计算。FCN可以通过具有优化的硬件配置的专用处理器来实现，以加速细胞分类。有利地，使用FCN进行细胞分类的自动癌症筛查可以比使用以完全连接层作为分类层使用的CNN的自动癌症筛查更快地执行。尽管通过使用FCN获得了细胞分类的加速，但如果能够进一步速度提高是可取的。

通常，包含要被分类的细胞的典型测试图像是稀疏的，使得大百分比的图像区域通常是无助于癌症筛查的背景。但是，专用处理器的硬件配置通常经过优化，以基于以滑动窗口为基础的扫描方法连续计算卷积乘积。由于测试图像中细胞的稀疏性，可能会浪费大量的计算工作量。可以使用跳跃方法，旨在计算所识别的多个ROI的卷积乘积，每个ROI包含一个或多个聚集在一起的细胞，同时跳过背景的卷积计算。然而，使用跳跃方法的一个显着缺点是在卷积计算中从一个ROI跳到另一个ROI破坏了在输入图像上连续计算卷积乘积中存在的固有并行性。具有用于实施滑动窗口扫描方法的优化的硬件配置的专用处理器导致使用跳跃方法在执行用于细胞分类的FCN时的低计算效率。即使并非不可能，重新优化硬件配置以考虑跳跃的存在是非常困难的。