[发明专利]基于双流网络的腹腔镜手术阶段自动识别方法及装置

说明书

基于双流网络的腹腔镜手术阶段自动识别方法及装置，既能够满足识别任务的需求，又实现了网络端到端的训练优化，并且大大提升了腹腔镜手术阶段识别的准确度。方法包括：获取腹腔镜胆囊切除手术视频，得到视频关键帧序列；利用共享卷积层Shared CNN同时对N张图像的视觉特征进行初步提取，得到的特征图作为后续双流网络结构的输入；利用双流网络结构分别提取视频序列的时间关联信息和深层视觉语义信息，其中视觉分支承接Shared CNN进一步提取深层视觉语义信息，时序分支利用三维卷积和非局部卷积，充分捕获相邻N张图像的时间关联信息；双流网络结构提取到的深层视觉语义信息与时间关联信息互为补充，利用融合后特征得到手术阶段识别结果。

技术领域

本发明涉及医学图像处理的技术领域，尤其涉及一种基于双流网络的腹腔镜手术阶段自动识别方法，以及基于双流网络的腹腔镜手术阶段自动识别装置。

背景技术

在计算机辅助手术领域，外科手术工作流程识别是一个重要的课题，因为它为现代手术室的众多需求提供了解决方案。具体来说，自动化的手术工作流程识别可以解释当前正在进行的具体活动，并且有利于手术程序标准化。在术中在线执行的工作流程识别有助于提高手术效率，并辅助医生做出正确的决策，特别是对于经验较少的外科医生。另外，手术视频的自动工作流程识别对于外科医生技能评估和手术视频数据库的索引也很有用。

早期的研究通过使用各种信息来识别手术的工作流程或阶段，包括二进制仪器使用信号、射频识别标签，通过工具跟踪设备上的传感器或手术机器人获得的数据等。但收集这些信息通常需要繁琐的手动标签或其他设备的手术室集成，对于普通微创手术来说都是额外的工作负担。因此，研究人员已经尝试研究手术室中已存在的可用信息(例如，来自视频的视觉线索)来完成手术阶段识别。在视觉特征提取方面，低水平的传统视觉特征(例如强度和梯度，形状，颜色等)不足以表征复杂的外科手术视觉特征。

随着深度学习在医学领域的应用，近年来已提出利用卷积神经网络来提取手术视频中更多的视觉信息来识别手术阶段。然而，单纯使用视频的视觉信息来自动识别手术阶段是相当具有挑战性的。手术过程中产生的水雾会导致严重的场景模糊，增加了识别难度。另外，在复杂的手术过程中，摄像机可能并不总是聚焦于手术场景，会给视频图像带来额外的噪声和伪影。鉴于手术视频实际上是序列数据，为了应对这些挑战，许多研究致力于先从视频帧中提取具有区别性的视觉特征后，对帧之间的时间依赖性进行建模以提高识别精度。例如，一系列利用随机森林模型或条件随机场和隐马尔可夫模型(HMM)建模时间信息的方法被提出来。

但是，上述大多数方法都是预定义的线性模型，无法实现端到端的学习和优化。为此，有学者改进了时间信息建模的方法。在网络中集成了用于提取深层次视觉信息的高级残差网络，并引入了用于建立非线性时间依赖性的长期和短期记忆(LSTM)网络，从而通过端到端学习实现了最先进的手术流程识别性能。然而，在利用高级残差网络提取高层视觉信息的过程中，某些运动信息已经丢失。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于双流网络的腹腔镜手术阶段自动识别方法，其既能够满足识别任务的需求，又实现了网络端到端的训练优化，并且大大提升了腹腔镜手术阶段识别的准确度。

本发明的技术方案是：这种基于双流网络的腹腔镜手术阶段自动识别方法，其包括以下步骤：

(1)获取腹腔镜胆囊切除手术视频，得到视频关键帧序列；

(2)利用共享卷积层Shared CNN同时对N张图像的视觉特征进行初步提取，得到的特征图作为后续双流网络结构的输入；

(3)利用双流网络结构分别提取视频序列的时间关联信息和深层视觉语义信息，其中视觉分支Visual branch承接Shared CNN进一步提取深层视觉语义信息，时序分支Temporal branch利用三维卷积和非局部卷积，充分捕获相邻N张图像的时间关联信息；