[发明专利]应用于机器人辅助手术视频分析的实时手术工具检测方法

权利要求书

1.应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征在于，包括：

采集计算机辅助手术视频并处理得到手术图像；

对手术图像以逐像素预测方式进行分类预测，回归预测以及中心度预测；

根据回归预测得到手术工具的候选边界框，利用分类预测和中心度预测得到候选候选边界框的预测得分，利用后处理非极大值抑制算法对预测得分进行处理，得到最终的边界框。

2.如权利要求1所述的应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征在于，采用训练轻量级神经网络框架后得到的骨干网络对手术图像进行特征提取以及特征融合后，利用输出头进行分类预测、回归预测和中心度预测。

3.如权利要求2所述的应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征在于，所述骨干网络为垮桥网络，包括一个卷积模块和四个桥模块。

4.如权利要求2所述的应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征在于，所述的特征融合采用多跨阶段路径聚合网络进行，具体包括：首先使用空间金字塔模块对骨干网络的最终输出特征进行处理，然后通过上采样和下采样引出四个不同尺度的预测路径，以检测不同尺度的手术工具，每条路径都将进行两次高级特征与低级特征之间的特征融合，最后融合后的特征一方面进行上采样向下传播，另一方面输入到输出头进行预测。

5.如权利要求4所述的应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征在于，所述输出头为注意力头，利用注意力头输出预测内容，包括三个独立的分支分别进行分类预测，回归预测和中心度预测。

6.如权利要求1所述的应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征在于，所述利用后处理非极大值抑制算法对最终的预测得分进行处理，获得最终的预测边界框，具体包括：

将所有候选边界框最终的预测得分进行排序，选中最高预测得分及其对应的候选框；

遍历其余的候选框，如果和当前最高分候选框的重叠面积大于一定阈值，就将该候选框删除；

从未处理的框中继续选一个得分最高的，重复上述过程。

7.如权利要求2所述的应用于机器人辅助手术视频分析的实时手术工具检测方法，其特征在于，所述训练神经网络包括：建立神经网络的损失函数，使损失函数的值越来越小到某个值后趋于不变，直到卷积神经网络的损失函数曲线拟合，代表神经网络训练完成；

总损失函数如下所示：

其中，L_cls是分类损失，L_ctn是中心度损失，L_reg是回归损失，λ是平衡权重，设为1；N_pos表示正样本数，p_x,y、t_x,y和ctn_x,y分别表示特征图F_i的(x,y)位置的分类预测分数、回归预测和中心度预测，和分别表示特征图F_i的(x,y)位置的分类标签、回归标签和中心度标签；是指示符函数，如果该位置有目标，即则是1，否则为0。

8.应用于计算机辅助手术视频分析的实时手术工具检测系统，其特征在于：包括：

手术图像获取模块，被配置为：采集计算机辅助手术视频并处理得到手术图像；

手术工具的预测模块，被配置为：对手术图像以逐像素预测方式进行分类预测，回归预测以及中心度预测；

手术工具的边界框获取模块，被配置为：根据回归预测得到手术工具的候选边界框，利用分类预测和中心度预测得到候选候选边界框的预测得分，利用后处理非极大值抑制算法对预测得分进行处理，得到最终的边界框。

9.计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的应用于机器人辅助手术视频分析的实时手术工具检测方法中的步骤。

10.电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的应用于机器人辅助手术视频分析的实时手术工具检测方法中的步骤。