[发明专利]一种基于图像的手术器械姿态实时检测方法

说明书

本发明公开了一种基于图像的手术器械姿态实时检测方法，依次通过构建适用于手术器械实时姿态识别的图像检测网络，构建用于训练图像检测网络的手术器械图像数据集；对手术器械图像数据集进行数据增强处理；采用手术器械图像数据集对图像检测网络进行训练，以及将实时采集的手术器械图像输入完成训练的图像检测网络中，实现实时输出精准检测到手术器械姿态的标记图像；该方法解决了在真实的手术场景中存在器械被遮挡、器械抖动、显示不完全以及环境光线不足或器械反光等干扰问题，在受到常见干扰时，仍然能正确地检测出手术器械，表现出在复杂多变的手术环境中的高适应性，是一种具有高精度、高实时性、高鲁棒性的方法。

技术领域

本发明涉及医疗机器人目标检测、图像分割技术领域，特别涉及一种基于图像的手术器械姿态实时检测方法。

背景技术

随着机器人技术和医学技术的不断发展，机器人辅助微创外科手术逐渐在医疗领域中发挥重要的作用，成为治疗各种疾病的首选手术类型，每天约有4000多个机器人参与手术作业。与传统手术相比，其具有创伤小、疼痛少和术后恢复迅速等特点。术中不需要医生长时间持握手术器械，从而避免了因手抖等人为因素产生的失误，在减轻了医生的疲劳同时提高手术的安全性。正是因为微创手术具有以上各方面的优点，医疗手术机器人逐渐引起了许多研究人员的注意，并成为研究热点。

对于手术器械的检测与分割方法主要可以分为基于硬件设备的方法、基于传统图像算法的方法和基于深度学习的方法。早在上世纪80年代，美国斯坦福大学的Roberts等人通过把显微镜和CT图像有效结合，利用超声波定位手术器械成功地为临床手术进行导航。然而这种依赖硬件设备的方式不仅需要考虑仪器的成本而且在实际操作中比较繁琐。

在机器人技术飞速的发展下，内窥镜成像更加清晰，医生能清楚地从成像设备中观察到术区情况。因此基于图像的检测方法逐渐受到重视。与基于硬件的方法不同，不需要昂贵的设备，部署也更为方便。可以直接在图像中呈现出手术器械的位置、类别及姿态。1994年，LeeC等人首次利用颜色特征从腹腔镜手术视频中提取了手术器械。2003年Krupa A等人在手术器械的尖端上装配了发光二极管并利用激光指示器和光学标记对手术器械进行定位检测，且成功地在活体动物上进行实验。然而在手术器械尖端加上辅助工具可能会对手术的安全性产生影响。2004年，Doignon等人通过颜色特征和灰度区域检测的方法对手术器械进行定位和检测。2013年，Sznitman R等人将主动测试范式和贝叶斯滤波器相结合对视网膜的手术器械进行检测和跟踪。2013年，Allan等人提出了使用颜色空间分析来分割手术器械，取得了较高的精度，但容易受到环境中光照条件的影响。2015年，Bouget等人提出了一种两阶段的手术器械检测方法，第一阶段对局部外观的每个像素进行分类，第二阶段匹配全局形状。2016年，Rieke等人提出了一种基于随机森林的检测方法，通过将候选区域缩小为手术器械尖端周围的矩形区域，在边框内基于方向梯度直方图特征推断器械尖端的位置。

基于深度学习的方法一般是以卷积神经网络为基础。2015年，Sarikaya等人通过改进Faster R-CNN算法，提出了一种多模态双流卷积网络，能够将图像和时间运动线索融合用于联合检测微创手术器械。2016年，Garcia等人提出了一种将全卷积网络(FullyConvolutional Network,FCN)与光流追踪相结合的手术器械分割方式。2016年，Sahu等人将卷积神经网络与随机森林结合实现了手术器械的检测。2017年，Attia等人采将卷积神经网络和递归神经网络结合，提出了一种新的混合模型对手术器械进行分割。同年，陈兆瑞等人提出了一种结合线段检测器(Line Segment Detector,LSD)的卷积神经网络的方法检测手术器械的尖端，利用时空上下文(Spatio-Temporal Context,STC)学习，自动逐帧跟踪尖端。2018年，Jin等人基于Faster R-CNN检测跟踪模型，利用完整腹腔镜手术视频实现了手术器械的分类、检测和跟踪。2020年，Tamer等人提出了一种卷积神经网络和长短期记忆模型相结合的方法来检测腹腔镜图像中的手术器械。2021年，Zhou等人提出了一种分级特征融合策略，增强了网络融合多尺度特征图的能力，提高了手术器械分割的精度。