[发明专利]基于空洞卷积和语义融合的眼底血管图像分割方法与系统

权利要求书

1.一种基于空洞卷积和语义融合的眼底血管图像分割方法，其特征在于，所述方法包括如下步骤：

步骤一，获取眼底血管图像数据集，从所述眼底血管图像数据集中获取眼底血管图像，并对所述眼底血管图像进行预处理；

步骤二，基于U-Net模型进行改进设计，以得到改进神经网络，其中进行改进的具体操作包括步骤三、步骤四与步骤五；

步骤三，在进行改进设计时，在所述改进神经网络的跳跃连接部分设计一个多层多尺度空洞卷积结构，所述多层多尺度空洞卷积结构用于跨越所述改进神经网络的编码部分与解码部分，以保护眼底血管中的细节信息；

步骤四，在所述改进神经网络的解码部分设计一个语义融合结构，所述语义融合结构用于对解码后的多尺度图像特征进行拼接，并构建成对挤压激励模块，根据所述挤压激励模块对拼接后的多尺度图像特征进行关键信息筛选以最终得到多尺度图像特征融合结果；

步骤五，对所述多尺度图像特征融合结果执行连续三次卷积操作以得到待分割图像，对所述待分割图像中的像素进行二分类判别，以对眼底血管图像进行分割，并得到一个改进的神经网络模型；

步骤六，根据第一损失函数，对所述改进的神经网络模型进行辅助训练，以对训练后的神经网络模型进行测试，从而最终完成眼底血管图像的分割与验证；

所述第一损失函数的表达式为：

其中，表示第一损失函数，表示数据总类别数量， 表示类别k的真阳值，表示类别k的假阴值，表示像素属于类别k的数量，，表示类别k的几何平均置信度，表示类别k的召回率，表示输入的训练数据在所有类别上的预测最大值分布，表示标签为类别k的样本集，表示训练数据的标签数据，表示训练数据的序号；

在所述步骤三中，所述多层多尺度空洞卷积结构包括上层图像特征、中层图像特征以及下层图像特征；

其中，对上层图像特征、中层图像特征以及下层图像特征执行包含不同尺度卷积率的级联式空洞卷积；

对上层图像特征、中层图像特征以及下层图像特征执行包含不同尺度卷积率的级联式空洞卷积的方法包括如下步骤：

对所述上层图像特征执行感受野逐步扩张的级联式空洞卷积，经卷积得到上层图像特征对应的空洞卷积特征，再对空洞卷积特征执行最大池化操作，以获得大尺寸图像的局部特征；

将所述中层图像特征对应的眼底血管图像分割成固定大小的图像块，通过扁平化操作对图像块进行矢量化，执行线性映射将矢量化的图像块转换成低维线性嵌入特征；将所述低维线性嵌入特征输入至Transformer模块中连续12个Transformer层中继续执行线性映射，并进行自注意力加权；对所述低维线性嵌入特征添加位置编码，以建模得到眼底血管图像中的长距离依赖关系，并提取得到图像全局特征；

对所述下层图像特征执行感受野逐步扩张的级联式空洞卷积，然后执行双线性插值将所述下层图像特征提升至与所述中层图像特征相同的尺寸，以获得小尺寸图像的局部特征；

将所述大尺寸图像的局部特征、所述图像全局特征以及所述小尺寸图像的局部特征进行相加以完成特征融合；

在所述步骤四中，所述语义融合结构对解码后的多尺度图像特征进行拼接的方法包括如下步骤：

语义融合结构对所述改进神经网络的解码部分输出的各层图像特征进行上采样，并恢复为与原始输入图像大小一致，以得到第一上采样特征图、第二上采样特征图、第三上采样特征图以及第四上采样特征图；

结合所述改进神经网络的编码部分的特征图，与上述第一上采样特征图、第二上采样特征图、第三上采样特征图以及第四上采样特征图进行拼接得到新特征图；

其中，新特征图；

在得到了所述新特征图之后，所述方法还包括：

将所述新特征图输入至挤压激励模块中，连续执行两个SE操作，以层次化方式筛选所述新特征图中的关键信息；

其中，所述SE操作包括全局平均池化操作、非线性激活操作以及特征通道加权操作；

所述全局平均池化操作包括如下步骤：

对所述新特征图的每个通道进行全局平均池化运算以得到特征向量m，其中所述新特征图的属性为；

进行全局平均池化运算以得到特征向量m的公式表示为：

其中，表示新特征图的高度，表示新特征图的宽度，表示新特征图的通道数，表示新特征图中第个通道的全局信息的压缩表示，表示针对新特征图的高度的取值，表示针对新特征图的宽度的取值，。