[发明专利]基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法

说明书

本发明公开了一种基于非局部分离注意力机制的X‑Ray图片股骨干骨折检测方法，其特点是采用Faster RCNN网络结构，在FPN上添加非局部分离注意力机制，将sobel算子得到的边缘信息对注意力机制中的unary分支进行约束，训练一个神经网络，实现对X‑Ray图片骨折区域的提取和分类。本发明与现有技术相比具有对X‑Ray图像中的骨折区域和类型进行检测，方法简便，精度高，有效解决了复杂骨折类型检测精度低的问题。

技术领域

本发明涉及计算机视觉与数字图像处理技术领域，尤其是一种基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法。

背景技术

目前，卷积神经网络在计算机视觉领域取得了良好的效果，计算机视觉在医学领域的应用越来越多。对于股骨干骨折病人的治疗和恢复情况，很大程度取决于医生根据骨折类型制定的手术方案。因此，一种有效、准确的骨折诊断与分类辅助技术在临床工作中十分有必要。然而，目前没有使用计算机视觉任务来进行股骨干骨折的检测与类别诊断。

发明内容

本发明的目的是针对现有技术的不足而提供的一种X-Ray图片股骨干骨折检测方法，采用非局部分离注意力机制提炼关键特征，将该关键特征传递至后面的层；对非局部分离注意力模块的unary输出，用原图经过sobel算子的边缘信息进行约束，提升检测准确率。建立基于ResNet和FPN的Faster RCNN网络，采用多尺度特征融合技术提取丰富的细节信息，增强网络对不同大小目标特征的表达能力；构建非局部分离注意力模块并嵌入FPN的最小分辨率，并使用原图经过sobel算子的边缘信息对注意力模块输出的unary进行约束，以提升网络对复杂骨折的特征表达能力，将提取的特征传递至后面的网络，有效提取X-Ray图像中的股骨干骨折区域，判定骨折类别，提高复杂股骨干骨折检测的精度，方法简便，精度高，解决了复杂骨折类型检测精度低的问题。

本发明的目的是这样实现的：一种基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法，其特点是基于Faster RCNN网络结构，在FPN上添加非局部分离注意力机制，将sobel算子得到的边缘信息对注意力机制中的unary分支进行约束，训练一个神经网络，实现对X-Ray图片骨折区域的提取和分类，具体包括以下步骤：

步骤1：收集股骨干骨折X-Ray图片，根据AO分型法对数据进行标注，制作股骨干骨折数据集；

步骤2：使用收集的股骨干骨折数据集的训练集和验证集训练卷积神经网络；

步骤3：使用步骤2训练好的卷积神经网络对股骨干骨折数据集的测试集中的骨折区域进行检测。

所述步骤2具体包括以下步骤：

步骤21：搭建backbone为ResNet50和FPN的Faster RCNN网络结构；构建非局部分离注意力模块，并嵌入到FPN最小分辨率上；

步骤22：使用sobel算子对原图计算一阶导数，对图像的边缘进行检测；

步骤23：采用股骨干骨折数据集进行卷积神经网络的训练和参数优化，损失函数为RPN和RCNN阶段的分类损失和回归损失以及unary损失；使用步骤22得到的图像边缘对步骤21中的非局部注意力模块中的unary分支进行约束，得到unary损失。

步骤24：使整个网络的参数更新，最终得到训练模型。

所述步骤1具体为：收集X-Ray股骨干骨折图片，使用LabelImg软件人工标记训练集X-Ray图像中股骨干骨折区域，得到各个人工标注框，根据AO分型法对标注框标注类别信息；所述类别分别为A1、A2、A3、B1、B2、B3、C1、C2和C3。