[发明专利]基于多任务学习的手术工具和手术阶段识别方法

权利要求书

1.基于多任务学习的手术工具和手术阶段识别方法，其特征在于，包括以下步骤：

1)收集微创外科手术视频，每个视频一场记录外科医生进行腹腔微创外科手术的全过程，然后将微创外科手术视频按帧切割成图片，得到图片序列数据集；

2)利用Backbone网络共享中间层对图片序列数据集中的手术工具和手术阶段进行初步特征提取，共享手术工具和手术阶段的信息，得到的初始特征图作为后续特征增强模块的输入，其中，初始特征图为多尺度特征图；

3)使用特征增强模块对初始特征图进行特征融合，将浅层特征的边缘信息和深层特征的语义信息互相补充；

4)利用双头分类器分别得到手术工具和手术阶段的识别结果，双头分类器其中一个分支为手术工具识别分支，用于将手术工具识别任务建模为多标签分类任务，使用Sigmoid激活函数计算得到手术工具的预测结果，同时使用BCE损失函数计算该分支的损失值，另外一个分支为手术阶段识别分支，用于将手术阶段识别任务建模为多类别分类任务，使用SoftMax函数计算得到手术阶段的预测结果，同时使用CE损失函数计算该分支的损失值。

2.根据权利要求1所述的基于多任务学习的手术工具和手术阶段识别方法，其特征在于，在步骤1)中，在得到图片序列数据集之前要进行数据预处理，包括：对原始视频的帧率进行下采样，并在输入网络之前通过随机裁剪、中心反转、洗乱顺序的方式对样本进行数据增强。

3.根据权利要求1所述的基于多任务学习的手术工具和手术阶段识别方法，其特征在于，在步骤2)中，Backbone网络由EfficientNet-b0的前5层组成，负责为特征增强模块提供128*128、64*64、32*32、16*16、8*8这5种尺寸的特征图作为后续特征增强模块的输入；其中C₃、C₄、C₅用于表示来自EfficientNet-b0第3、4、5层的特征图，特征图C₆和C₇分别通过从C₅和C₆进行下采样获得，特征图C₃至C₇的下标统一用n＝3,4,5,6,7表示。

4.根据权利要求1所述的基于多任务学习的手术工具和手术阶段识别方法，其特征在于，在步骤3)中，特征增强模块由双向特征金字塔构成，用于实现多尺度特征融合功能；双向特征金字塔对Backbone网络输入的多尺度特征图统一进行上采样和下采样，使得高层的特征图能够以相同的尺寸与底层特征图相加，达到信息融合的目的，其融合过程如下公式(1)和(2)：

式中，是第n级的输入特征，是自顶向下路径中第n级的中间特征，是自顶向下路径中第n+1级的中间特征，是自下而上路径中第n层的输出特征，是自下而上路径中第n-1层的输出特征；ω₁、ω₂、ω′₁、ω′₂、ω′₃是可学习的权重，每个权重的取值范围均在0到1之间；ε是一个自定义参数，用于避免数值不稳定。

5.根据权利要求1所述的基于多任务学习的手术工具和手术阶段识别方法，其特征在于：在步骤4)中，双头分类器由一个融合模块、一个平均池化层、手术工具识别分支和手术阶段识别分支组成；特征增强模块输出的多尺度增强特征输入融合模块中经过深度可分离卷积、BN层和swish激活，得到统一尺寸的融合特征图；随后融合特征图被送入平均池化层中下采样；手术工具识别分支和手术阶段识别分支分别为全连接层分支Tool_FC和Phase_FC，最后两个全连接层分支Tool_FC和Phase_FC分别用Sigmoid函数和SoftMax函数计算得出手术工具和手术阶段的预测结果。