[发明专利]一种微创手术器械类别及位置检测方法与系统

说明书

本发明公开了一种微创手术器械类别及位置检测方法和系统，涉及深度学习与计算机视觉技术领域，所述方法包括：采集微创手术过程图像数据集并进行人工标注；构建Soft‑ANL‑RCNN网络模型，所述Soft‑ANL‑RCNN网络模型以resnet101网络为骨干网络提取图像特征，采用非对称Non‑local结构对提取的特征图进行融合并挖掘特征图中的长距离信息，采用Soft‑NMS网络进行非极大值抑制处理；通过标注后的数据集对上述网络模型进行优化以获取最佳模型参数；将待检测图像输入模型中，对图像中的手术器械位置进行检测。本发明的方法能够准确检测微创手术器械的类别及位置，便于医护人员学习并使用。

技术领域

本发明涉及深度学习与计算机视觉技术领域，具体涉及一种微创手术器械类别及位置检测方法和系统。

背景技术

微创手术(Minimally Invasive Surgery,MIS)是指在手术过程中，使用各种特制的手术器械通过一个小切口插入到病人身体中进行操作的一类手术。与传统在腹部或胸部做切口进行的开放性手术不同，外科医生通过在病人体内的摄像头回传的实时画面，确定病人病患位置，进而实施手术操作。因为MIS具有更快的恢复速度，更低的疼痛指数等特点，被广泛用于各种外科手术中。但独特的手术器械操作方式和通过摄像头间接观察病人患处给腹腔镜手术带来了前所未有的挑战。这些挑战包括医生缺乏对深度的感知、缺乏触觉感知信息与手术器械的运动范围有限等。因此，外科医生需要经过大量的特殊训练才能达到所要求的熟练程度，而手术过程视频是医生学习训练的重要资源。

虽然微创手术视频蕴藏着巨大的研究价值，但是挖掘这些价值也是一项富有挑战性的工作，因为手术过程中出现的血迹、不稳定的光线照明、由于呼吸和心跳导致的器官的运动、以及反射的光线等都会干扰到腹腔镜中手术器械的检测。

发明内容

为了解决上述问题，本发明提供一种微创手术器械位置检测方法，包括：

S1：采集微创手术过程视频和图像数据集并进行人工标注；

S2：构建Soft-ANL-RCNN网络模型，所述Soft-ANL-RCNN网络模型以resnet101网络为骨干网络提取图像特征获得特征图，采用非对称Non-local结构对提取的特征图进行融合并挖掘特征图中的长距离信息，采用Soft-NMS网络进行非极大值抑制处理；

S3：通过标注后的数据集对步骤S2中的模型进行训练以获取最佳模型参数；

S4：将待检测图像输入模型中对图像中的手术器械类别及位置进行检测。

进一步地，所述方法还包括采用Faster RCNN网络生成候选区并对候选区域进行检测和分类。

更进一步地，所述Faster RCNN网络中RPN网络的损失函数如公式（1）所示：

（1）