[发明专利]基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法

权利要求书

1.一种基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法，其特征在于采用Faster RCNN网络结构，在FPN上添加非局部分离注意力机制，将sobel算子得到的边缘信息对注意力机制中的unary分支进行约束，训练一个神经网络，实现对X-Ray图片骨折区域的提取和分类，具体包括以下步骤：

步骤1：收集股骨干骨折X-Ray图片，根据AO分型法对数据进行标注，制作股骨干骨折数据集；

步骤2：使用收集的股骨干骨折数据集的训练集和验证集训练卷积神经网络；

步骤3：使用步骤2训练好的卷积神经网络对股骨干骨折数据集的测试集中的骨折区域进行检测；

所述步骤2具体包括以下步骤：

步骤21：非局部分离注意力模块，并嵌入backbone为ResNet50和FPN的Faster RCNN网络结构的FPN中，在FPN的各分辨率上生成anchor，进行目标候选框的预测，得到proposal；将proposal送入RCNN网络得到检测框，使用Cross Entropy Loss和Smooth L1 Loss对proposal和检测框进行损失函数的计算；

步骤22：使用sobel算子对原图计算一阶导数，对图像的边缘进行检测；

步骤23：使用步骤22得到的图像边缘对步骤21中的非局部注意力模块中的unary分支进行约束，所述unary的输出特征是用BCE Loss进行损失函数的计算；

步骤24：采用股骨干骨折数据集进行卷积神经网络的训练和参数优化，使整个网络的参数更新，最终得到训练模型；

所述步骤21中在FPN的各分辨率上生成anchor，进行目标候选框的预测得到proposal，将proposal送入RCNN网络得到检测框，并对proposal和检测框各自使用Cross EntropyLoss和Smooth L1 Loss进行损失函数的计算；对步骤23所述的unary的输出特征是用BCELoss进行损失函数的计算；使整个网络的参数更新，最终得到训练模型；

所述步骤21中的ResNet-50由3、4、6和3个残差映射结构组成的四个卷积组，其分辨率逐组减小；所述FPN结构将ResNet的网络自上而下融合，将上采样的高层语义与浅层的定位细节进行融合，然后利用卷积对各层分别融合，以消除上采样带来的重叠效应；所述构建非局部分离注意力模块，嵌入FPN的最小分辨率中，提升网络对复杂骨折类型特征的表达能力，非局部分离注意力模块的构建具体包括下述步骤：

步骤211：设计pairwise注意力结构，提取到内部特征；

步骤212：设计unary注意力结构，提取到特征的边缘特征；

步骤213：将pairwise和unary结构的输出与原特征融合。

2.根据权利要求1所述基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法，其特征在于所述步骤1为使用LabelImg软件人工标记X-Ray图像中股骨干骨折区域，得到各个人工标注框，并根据AO分型法对标注框进行类别信息标注。

3.根据权利要求1所述的股骨干骨折检测方法，其特征在于所述步骤22使用sobel算子对原图像的每一个像素点分别计算水平方向和竖直方向的一阶梯度，将两个方向的梯度平方相加并开根号，得到该像素的梯度大小后计算所有的像素，在边缘处梯度达到极值，获取图像的边缘。

4.根据权利要求1所述的股骨干骨折检测方法，其特征在于所述步骤23将unary注意力结构的输出插值到原图大小，采用BCE Loss对步骤22得到的边缘作为标签进行约束。

5.根据权利要求1所述的股骨干骨折检测方法，其特征在于所述步骤211对输入特征分别接卷积层，将得到query和key分别减去均值后矩阵相乘，然后经softmax得到相似度矩阵。

6.根据权利要求1所述的股骨干骨折检测方法，其特征在于，所述步骤212

对输入特征接卷积层，将得到的unary map扩展到与步骤211输出的相似度矩阵相同的维度大小，然后经softmax得到unary注意力矩阵。

7.根据权利要求1所述的股骨干骨折检测方法，其特征在于，所述步骤213

对输入特征接卷积层，得到value，然后将步骤211所得的相似度矩阵与步骤212所得的unary注意力矩阵相加，并与value矩阵相乘，得到与输入特征的相同维度的注意力模块的输出，将其与输入特征相加送入后续网络中。