[发明专利]一种基于腹腔镜内窥影像的手术进程分析方法

说明书

一种腹腔镜内窥影像的手术进程分析方法涉及医学图像处理领域，实现了整个神经网络模型的鲁棒性。本发明所提算法借助标定好的阶段数据集，利用深度学习对具有难以识别的视频帧的数据集进行有效的特征提取，更好地利用具有缺陷的数据集，并提高模型的鲁棒性。同时提出一种术中场景的当前帧特征信息与之前帧识别结果联合的方式，使阶段识别精度更高，有效、准确地进行手术进程分析。

技术领域

本专利属于医学图像处理领域，具体涉及一种基于腹腔镜内窥影像的手术进程分析方法。

背景技术

腹腔镜手术是一门新发展起来的微创方法，许多过去的开放性手术现在已被腔内手术取而代之，增加了患者的治疗机会。在腹腔镜手术中，医生采用腹腔镜作为内外部沟通的桥梁。腹腔镜手术的开展，减轻了病人开刀的痛楚，同时使病人的恢复期缩短，并且相对降低了患者的支出费用。

然而在应用中，医生仅借助微小创面观察内部情况，但是由于内部情况十分复杂，往往需要计算机辅助医生来提高对手术术野的理解。要增强微创手术的效果，就需要精通手术过程的医生，另一方面，可以借助于计算机辅助治疗来完成医生对内窥镜场景的理解。随着机器人辅助微创手术的发展，增强手术过程的自动情境意识对于提高外科医生的表现和患者安全变得至关重要。手术器械的检测和手术阶段识别的对于各种其他任务(包括工具姿态估计，跟踪和控制)也起着至关重要的作用。

针对上述问题，Twinanda等人提出的EndoNet联合从视频中进行手术工具和阶段识别，利用神经网络和分层HMM获得时间平滑的阶段预测。随着RNN的兴起，EndoNet被演化为EndoLSTM，其训练过程分为两步，包括卷积神经网络(CNN)作为特征提取器和LSTM进行特征细化。Lea等人初次将时间卷积引入到分层处理视频的动作分割中，与RNNs相比，编码器-解码器架构能够同时捕获高阶和低阶特征。后来，Oord等人使TCNs适应了扩张卷积，用于动作定位，并由于更大的接受域而有着更高的时间分辨率，进而实现了性能的改进。Farha等人将多阶段TCNs(MS-TCNs)引入到动作分割中，这个多阶段的网络由堆叠的预测器阶段组成，每个阶段包括一个单独的多层TCN，它逐步完善了前几个阶段的初始预测。Tobias首次在工作流分析中提出了一种多阶段时间卷积网络，用于手术阶段识别的分层预测优化，一定程度上提升了在线实时识别的准确性及稳定性。总体来看，研究者们采用不同的方法对阶段识别模型进行了改进和提升，丰富了对手术阶段自动识别算法的研究。然而，较少有人考虑整个模型的鲁棒性，如模型对手术视频图片中血污、光照等造成的图片模糊情况的识别能力，以及更深层的网络对手术进程的隐含意义。

发明内容

为了解决现有技术中存在的问题，本发明提供了一种基于腹腔镜内窥影像的手术进程分析方法，实现了整个神经网络模型的鲁棒性。

本发明解决技术问题所采用的技术方案如下：

一种基于腹腔镜内窥影像的手术进程分析方法，该方法包括如下步骤：

步骤一：采集腹腔镜术野视频内容，对所述视频内容划分并进行预处理；

步骤二：对基于Cholec80数据集以及MICCAI2015数据集，注意力机制ResNeXt网络的神经网络进行学习，将注意力机制模块SEBlock拼接在ResNeXt101网络的每个残差模块ResBlock之后；

步骤三：将步骤一中预处理过的视频内容输入到步骤二中已经学习好的神经网络中，提取实时腹腔镜的视频帧中的特征，与步骤二中Cholec80数据集以及MICCAI2015数据集内的特征进行融合，参考多种特征提取及阶段识别算法，采用OHFM网络识别手术阶段位于步骤一中的类别，分析当前手术阶段。

优选的，所述步骤一中影像内容分为：准备、三角切割、剪切、胆囊切割、胆囊包装、清理和胆囊回收。

优选的，所述步骤一中的预处理为调整所述影像内容的分辨率和帧速流。