[发明专利]基于分层多尺度特征融合的儿童肺炎分类系统及方法

权利要求书

1.基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，所述系统包括：

胸片特征提取模块和分类模块；

所述胸片特征提取模块用于提取儿童胸片图像的特征，设有层级数相同的全局分支、局部分支和融合分支；

所述全局分支用于在不同尺度提取儿童胸片图像的全局特征，所述全局分支的每个层级设有全局特征块，所述全局特征块用于基于窗口多头自注意力机制提取儿童胸片图像的全局特征图，且所有全局特征块输出的全局特征图的尺度互不相同；

所述局部分支用于在不同尺度提取儿童胸片图像的局部特征，所述局部分支的每个层级设有局部特征块，所述局部特征块用于采用卷积操作提取儿童胸片图像的局部特征图，且同一层级的局部特征图、全局特征图的尺度相同；

所述融合分支的每个层级设有多尺度特征融合块，所述多尺度特征融合块用于融合自身所在层级的全局特征图、局部特征图以及前一层级多尺度特征融合块输出的融合后特征图；

所述分类模块用于根据所述胸片特征提取模块输出的特征获得儿童肺炎分类结果。

2.如权利要求1所述的基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，所述全局特征块上设有采用窗口多头自注意力机制的第一注意力模块和采用移位窗口多头自注意力机制的第二注意力模块。

3.如权利要求1所述的基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，所述局部特征块上设有第一卷积模块和第二卷积模块，所述第一卷积模块采用大小为3*3的深度卷积，所述第二卷积模块采用大小为1*1的分组卷积。

4.如权利要求1所述的基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，所述分类模块为多模态融合模块，所述多模态融合模块用于多模态融合所述胸片特征提取模块输出的儿童胸片图像的特征、血液蛋白信息的特征，获得儿童肺炎分类结果。

5.如权利要求1所述的基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，所述多尺度特征融合块包括融合模块和残差倒置的多层感知机模块，所述融合模块用于融合自身所在层级的全局特征块、局部特征块分别输出的全局特征图、局部特征图以及前一层级多尺度特征融合块输出的融合后特征图，并将获得的融合后特征图输入所述多层感知机模块。

6.如权利要求5所述的基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，所述融合模块上设有通道注意力分支、空间注意力分支，所述通道注意力分支用于采用通道注意力机制对所述全局特征块输出的全局特征图进行特征提取，所述空间注意力分支用于采用空间注意力机制对所述局部特征块输出的局部特征图进行特征提取。

7.如权利要求6所述的基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，所述融合模块设有第一融合单元和第二融合单元，所述第一融合单元用于连接所述全局特征块输出的全局特征图、所述局部特征块输出的局部特征图以及前一层级多尺度特征融合块输出的融合后特征图，所述第二融合单元用于连接所述通道注意力分支输出的特征、所述空间注意力分支输出的特征以及所述第一融合单元输出的特征。

8.如权利要求5所述的基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，所述残差倒置的多层感知机模块包括依次连接的第一卷积模块、第二卷积模块和第三卷积模块，所述第一卷积模块采用一个大小为3*3的深度卷积，所述第二卷积模块采用四个大小为1*1的深度卷积，所述第三卷积模块采用一个大小为1*1的深度卷积。

9.如权利要求1所述的基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，还设有数据预处理模块，用于对儿童胸片图像进行图像预处理以及对血液蛋白信息进行数据清洗。

10.基于分层多尺度特征融合的儿童胸片图像分类方法，其特征在于，包括：

在多个层级上提取儿童胸片图像的全局特征图和局部特征图，且所有层级提取的特征图的尺度互不相同，提取所述全局特征图时采用基于窗口多头自注意力机制，提取所述局部特征图时采用卷积操作；

融合每一层级的所述全局特征图、所述局部特征图和前一层级的融合后特征图，获得各层级的融合后特征图；

对最后层级的融合后特征图进行线性分类，获得儿童胸片图像分类结果。