[发明专利]基于多任务学习的手术工具和手术阶段识别方法

说明书

本发明公开了一种基于多任务学习的手术工具和手术阶段识别方法，包括：1)收集微创外科手术视频并处理得到图片序列数据集；2)利用Backbone网络共享中间层对图片序列数据集中的手术工具和手术阶段进行初步特征提取，得到的初始特征图作为后续特征增强模块的输入；3)使用特征增强模块对初始特征图进行特征融合；4)利用双头分类器分别得到手术工具和手术阶段的识别结果，双头分类器其中一个分支使用Sigmoid激活函数计算得到手术工具的预测结果，另外一个分支使用SoftMax函数计算得到手术阶段的预测结果。本发明通过共享手术工具和手术阶段的特征信息实现互补，充分捕获手术工具和手术阶段之间的关联信息，同时对这些特征信息进行多尺度融合，增强深层语义特征的几何表达。

技术领域

本发明涉及微创外科手术图像处理的技术领域，尤其是指一种基于多任务学习的手术工具和手术阶段识别方法。

背景技术

早期通过在手术工具上固定传感器或从手术机器人获取数据，来识别当前时刻外科医生使用的手术工具类型和正在进行的手术阶段。但是收集这些信号通常需要在手术工具或外科医生的手上安装额外的设备，这可能会干扰手术的正常操作。另一类方法是使用来自视频或图像序列的视觉特征进行自动化识别。研究人员使用手动提取特征的方法局限于他们个人的领域知识，难以泛化地描述复杂的手术视频变化情况。而基于深度学习的方法可以从手术视频中自动捕获高级语义特征，识别准确率比人工特征法更高。

然而，仅依靠视觉信息来利用深度学习的方法去进行手术工具和手术阶段的识别仍然具有挑战性。首先，各个类别的工具的外观可能非常相似。其次，相机的快速移动或燃烧组织时产生的烟雾会导致图像模糊。第三，摄像机在操作过程中可能不会始终聚焦在操作区域，从而在视频录制过程中引入额外的噪音。

由于各种工具的使用通常与特定的手术阶段有密切的联系，因此手术工具的识别任务作为辅助任务来帮助手术阶段的识别的方法被提出。利用手术视频中手术工具和手术阶段之间的相关性对于提高手术阶段识别被证明是有效的。

但是，此外，通过在多任务特征提取网络中嵌入双向特征金字塔可以增强对精细手术视频视觉特征的表示能力。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于多任务学习的手术工具和手术阶段识别方法，能够实现自动化识别任务，无需额外人工制作特征，又能实现多任务高效训练，而且还大幅提升了腹腔镜手术工具和手术阶段识别的准确度。

为实现上述目的，本发明所提供的技术方案为：基于多任务学习的手术工具和手术阶段识别方法，包括以下步骤：

1)收集微创外科手术视频，每个视频一场记录外科医生进行腹腔微创外科手术的全过程，然后将微创外科手术视频按帧切割成图片，得到图片序列数据集；

2)利用Backbone网络共享中间层对图片序列数据集中的手术工具和手术阶段进行初步特征提取，共享手术工具和手术阶段的信息，得到的初始特征图作为后续特征增强模块的输入，其中，初始特征图为多尺度特征图；

3)使用特征增强模块对初始特征图进行特征融合，将浅层特征的边缘信息和深层特征的语义信息互相补充；

4)利用双头分类器分别得到手术工具和手术阶段的识别结果，双头分类器其中一个分支为手术工具识别分支，用于将手术工具识别任务建模为多标签分类任务，使用Sigmoid激活函数计算得到手术工具的预测结果，同时使用BCE损失函数计算该分支的损失值，另外一个分支为手术阶段识别分支，用于将手术阶段识别任务建模为多类别分类任务，使用SoftMax函数计算得到手术阶段的预测结果，同时使用CE损失函数计算该分支的损失值。

进一步，在步骤1)中，在得到图片序列数据集之前要进行数据预处理，包括：对原始视频的帧率进行下采样，并在输入网络之前通过随机裁剪、中心反转、洗乱顺序的方式对样本进行数据增强。