[发明专利]基于双流网络的腹腔镜手术阶段自动识别方法及装置

权利要求书

1.基于双流网络的腹腔镜手术阶段自动识别方法，其特征在于：其包括以下步骤：

(1)获取腹腔镜胆囊切除手术视频，得到视频关键帧序列；

(2)利用共享卷积层Shared CNN同时对N张图像的视觉特征进行初步提取，得到的特征图作为后续双流网络结构的输入；

(3)利用双流网络结构分别提取视频序列的时间关联信息和深层视觉语义信息，其中视觉分支Visual branch承接Shared CNN进一步提取深层视觉语义信息，时序分支Temporal branch利用三维卷积和非局部卷积，充分捕获相邻N张图像的时间关联信息；

(4)双流网络结构提取到的深层视觉语义信息与时间关联信息互为补充，利用融合后特征得到手术阶段识别结果。

2.根据权利要求1所述的基于双流网络的腹腔镜手术阶段自动识别方法，其特征在于：所述步骤(2)中，Shared CNN由BN-inception第一部分组成，该第一部分直到inception-3c层，负责获得N张尺寸为28*28的特征图作为后续双流网络结构的输入。

3.根据权利要求2所述的基于双流网络的腹腔镜手术阶段自动识别方法，其特征在于：所述步骤(3)中，Visual branch在双流网络结构中用于获取更深层次的静态视觉语义信息，Visual branch是BN-inception的第二部分，该第二部分不包括全连接层；Visualbranch末尾有两个平均池化层，前边的平均池化层负责为每一帧生成1024维特征向量；后边的平均池化层通过对batch通道相邻N张图做全局平均池化，以生成与Temporal branch相对应的视频级特征。

4.根据权利要求3所述的基于双流网络的腹腔镜手术阶段自动识别方法，其特征在于：所述步骤(3)中，Temporal branch作用在堆叠的连续N帧图像上，被用来进行时间依赖的建模；采用多层3D-Resnet18作为基础架构，网络结构从Resnet18的第三层开始。

5.根据权利要求4所述的基于双流网络的腹腔镜手术阶段自动识别方法，其特征在于：所述步骤(3)中，在3D-Resnet18结构中嵌入非局部模块Non-local。

6.根据权利要求5所述的基于双流网络的腹腔镜手术阶段自动识别方法，其特征在于：所述步骤(3)中，在3D-Resnet18结构中，只在res3、res4、res5模块之后分别嵌入一个Non-local。

7.根据权利要求6所述的基于双流网络的腹腔镜手术阶段自动识别方法，其特征在于：

全局交叉熵损失为公式(1)：

其中C表示类别的数量，z＝[z₀，...，z_c-1]表示对应于全连接层fc的每个类的逻辑输出，未经softmax的输出；

局部交叉熵损失为公式(2)：

作用于Visual branch，在Visual branch的末尾添加了额外的全连接层fc'；

其中z'＝[z0′,…,zc-1′]代表对应于全连接层fc'的每个类的逻辑输出；

一个batch通道激活的截断均方误差截断的均方误差为公式(3)：

其中B表示批次的大小，τ是阈值，y′_b-1和y′_b是同一批次中两相邻特征向量的逻辑输出，分别在批次维度上进行归一化；

总体损失为公式(4)：

其中λ1，λ2是模型超参数,用于确定不同损失函数的贡献。

8.根据权利要求7所述的基于双流网络的腹腔镜手术阶段自动识别方法，其特征在于：所述步骤(3)中，C＝8；τ＝3；λ1＝0.1，λ2＝0.15。