[发明专利]一种内窥镜干扰图像检测与分级系统及方法

权利要求书

1.一种内窥镜干扰图像检测与分级系统，其特征在于：包括检测分级网络模型（1）、用以训练检测分级网络模型（1）以获取预设网络模型的训练模块（2）、检测分级模块（3），所述预设网络模型在检测分级模块（3）将消化道图片输入至其中后对消化道图片处理输出干扰内容类别和干扰内容的分割信息，所述检测分级模块（3）根据干扰内容的分割信息获取粘膜所占面积并根据粘膜所占面积进行分级；所述检测分级网络模型（1）包括基本卷积神经网络单元、用于将基本卷积神经网络单元的特征输出映射到不同类别输出的变换卷积层单元、用以将变换卷积层单元的输出进行排序的排序池化层单元、用以将排序池化层单元输出的C个值作为类别输出值的类别输出单元；所述基本卷积神经网络单元由预训练好的卷积神经网络中去除最后的全连接层构成，所述基本卷积神经网络通过全连接层前的多通道2维卷积输出提取图片特征，所述变换卷积层单元由多个1x1的卷积构成，所述变换卷积层单元的卷积的数量为识别类别数C的M倍，其中识别类别数为干扰内容类别+1，M为2~16整数，所述排序池化层单元由多个1x1的卷积构成，所述排序池化层单元的池化的数量为识别类别数，对于每个池化类别排序池化层单元将M个变换卷积输出进行排序并分别取比例为k的最大响应区域和最小响应区域进行平均合并作为池化输出，其中k的比例值范围可以是0.1~0.4，排序池化平均合并值为C个；所述检测分级模块（3）包括分级输出单元，所述分级输出单元根据分类输出单元输出的分类输出向量获取变换卷积层单元对应的卷积输出矩阵，所述分级输出单元将卷积输出矩阵归一化到0~255的整数并将尺寸通过图像插值缩放的方法变换到与输入图像一致的尺寸，所述分级输出单元根据阈值将缩放后矩阵进行二值化获取干扰类别和粘膜在图像中所占的区域，所述分级输出单元根据粘膜所占面积划分为多个等级。

2.如权利要求1所述的一种内窥镜干扰图像检测与分级系统，其特征在于：还包括用以获取数据训练集和验证集的获取模块（4），所述训练集包括无干扰训练图片、干扰训练图片、干扰训练图片中的干扰训练内容标记、干扰训练图片中的训练粘膜面积标记，所述验证集包括干扰验证图片、干扰验证图片中的干扰验证内容标记、干扰验证图片中的验证粘膜面积标记；还包括训练模块（2），所述训练模块（2）将训练集输入检测分级网络模型（1）以获取实时训练网络模型，所述训练模块（2）选取验证集测试实时训练网络模型的识别精度，所述训练模块（2）在检测分级网络更换网络参数时重复训练检测分级网络模型（1）和测试实时训练网络模型的识别精度并选取实时训练网络模型中识别精度最高的网络模型作为预设网络模型。

3.如权利要求1所述的一种内窥镜干扰图像检测与分级系统，其特征在于：所述训练模块（2）包括用以选取不同的卷积神经网络的基本神经网络选择单元，所述基本神经网络选择单元选择VGG、ResNet、InceptionNet卷积网络其中的一个作为基本卷积神经网络单元中的卷积神经网络。

4.如权利要求1所述的一种内窥镜干扰图像检测与分级系统，其特征在于：所述检测分级模块（3）包括用以判断干扰图像或者粘膜图像类别的分类输出单元，所述分类输出单元以类别输出单元输出向量为判断依据在其中某个或多个元素大于0时确定图像属于该元素对应的类别。

5.如权利要求3所述的一种内窥镜干扰图像检测与分级系统，其特征在于：所述训练模块（2）包括用以对检测分级网络模型（1）进行计算网格损失的损失函数单元，所述损失函数单元通过公式对卷积神经网络进行优化计算，其中对于每一张图像，x为网络预测得到的标签值，y为针对图像标注的标签值，C表示识别类别数。

6.如权利要求5所述的一种内窥镜干扰图像检测与分级系统，其特征在于：所述训练模块（2）包括用以采用随机梯度下降法对检测分级网络模型（1）进行网络优化计算的优化函数单元。

7.一种内窥镜干扰图像检测与分级方法，其特征在于，包括如下步骤：

S1：建立检测分级网络模型（1）；

S2：获取训练集和验证集；

S3：训练模块（2）通过训练集训练检测分级网络模型（1）和通过验证集测试训练后的检测分级网络模型（1）提高网络模型的精度以获取预设网络模型；

S4：检测分级模块（3）将消化道图片输入至预设网络模型，预设网络模型对消化道图片处理输出干扰内容和干扰内容的分割信息；

S5：检测分级模块（3）根据干扰内容的分割信息获取粘膜所占面积并根据粘膜所占面积进行分级；

所述检测分级网络模型（1）包括基本卷积神经网络单元、用于将基本卷积神经网络单元的特征输出映射到不同类别输出的变换卷积层单元、用以将变换卷积层单元的输出进行排序的排序池化层单元、用以将排序池化层单元输出的C个值作为类别输出值的类别输出单元；所述基本卷积神经网络单元由预训练好的卷积神经网络中去除最后的全连接层构成，所述基本卷积神经网络通过全连接层前的多通道2维卷积输出提取图片特征，所述变换卷积层单元由多个1x1的卷积构成，所述变换卷积层单元的卷积的数量为识别类别数C的M倍，其中识别类别数为干扰内容类别+1，M为2~16整数，所述排序池化层单元由多个1x1的卷积构成，所述排序池化层单元的池化的数量为识别类别数，对于每个池化类别排序池化层单元将M个变换卷积输出进行排序并分别取比例为k的最大响应区域和最小响应区域进行平均合并作为池化输出，其中k的比例值范围可以是0.1~0.4，排序池化平均合并值为C个；所述检测分级模块（3）包括分级输出单元，所述分级输出单元根据分类输出单元输出的分类输出向量获取变换卷积层单元对应的卷积输出矩阵，所述分级输出单元将卷积输出矩阵归一化到0~255的整数并将尺寸通过图像插值缩放的方法变换到与输入图像一致的尺寸，所述分级输出单元根据阈值将缩放后矩阵进行二值化获取干扰类别和粘膜在图像中所占的区域，所述分级输出单元根据粘膜所占面积划分为多个等级。