[发明专利]术野追踪的扶持腹腔镜微创机器人触力交互方法和系统

说明书

本发明提供一种术野追踪的扶持腹腔镜微创机器人触力交互方法、系统、存储介质和电子设备，涉及腹腔镜技术领域。本发明根据手部姿态变化信号，获取持器械机器人的末端执行器的相应姿态；据腹腔镜获取的当前时刻的术野图像，获取手术器械尖端中心点在图像坐标系中的二维位置；根据术野图像，构建圆形禁止区域型虚拟夹具，当二维位置与术野图像中心点位置之间的距离大于圆形禁止区域型虚拟夹具的半径时，生成指向术野图像中心点的阻力并施加在主操作手机器上。避免了腹腔镜自主追踪过程中，其运动是受到算法控制而完全自主的，导致医生失去对腹腔镜的控制；触力反馈的机制提示医生腹腔镜当前运动方向，以加强医生对腹腔镜术野的控制，实现人机交互。

技术领域

本发明涉及腹腔镜技术领域，具体涉及一种术野追踪的扶持腹腔镜微创机器人触力交互方法、系统、存储介质和电子设备。

背景技术

在机器人手术中，通过机器人夹持腹腔镜，由医生对机器人进行操作和控制，可为医生提供一个稳定的手术视野并减少助手的疲劳。

目前，腹腔镜控制方法有多种。例如，通过使用医生的语音、眼神注视或头部运动来控制内窥镜的视野；研究人员开发了一种柔性腹腔镜机器人系统，该系统由医生的头部运动控制，使医生可以在直观观察腹腔镜的同时，用手操作手术器械，提高手术效率。再如，基于注意力感知的腹腔镜机器人系统，通过眼动仪捕捉医生在手术视野上的注视运动，并分析这些数据来找出医生的注意力。当机器人感知到医生的注意力稳定地位于一个新的视野兴趣点时，机器人会自动调整腹腔镜的位置以聚焦于此。

此外，基于视觉伺服的手术器械尖端跟踪方法也是研究热点之一。研究人员提出了一种通过视觉伺服实现仪器自动追踪的方法。在仪器追踪过程中，在手术器械尖端贴上一个绿色的标记以追踪器械位置，并采用最优控制方法使内窥镜运动最小化，这有助于减少器械在手术腔内的击伤以及手臂在身体外的碰撞。再如，一种通过视觉伺服实现仪器自动追踪的方法，采用改进的YOLOv3算法对手术器械的尖端进行实时精确定位，然后设计一个视觉追踪空间矢量和一个约束矢量来实现基于图像的多手术器械的安全追踪，并且无需估计器械的深度信息。

但是，在上述的自动追踪方法中，由于腹腔镜的运动完全是由算法控制的，医生无法控制或感知追踪方法的效果。也即，尽管通过移动手术器械来实现腹腔镜的移动，可以改变当前的手术视野，但这种操控是间接的，腹腔镜的运动得不到医生的直接控制，导致医生的操作感觉较差，从而带来了手术风险。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种术野追踪的扶持腹腔镜微创机器人触力交互方法、系统、存储介质和电子设备，解决了腹腔镜对手术器械自主追踪过程中，医生无法直接感知腹腔镜的运动的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种术野追踪的扶持腹腔镜微创机器人触力交互方法，包括：

S1、根据主操作手机器实时记录的医生手部运动，获取医生实时的手部姿态变化信号，所述主操作手机器用于控制持器械机器人的运动；

S2、根据所述手部姿态变化信号，获取所述持器械机器人的末端执行器的相应姿态，所述末端执行器用于夹持手术器械；

S3、根据腹腔镜获取的当前时刻的术野图像，获取手术器械尖端中心点在图像坐标系中的二维位置；

S4、根据所述术野图像，构建圆形禁止区域型虚拟夹具，当所述二维位置与术野图像中心点位置之间的距离大于所述圆形禁止区域型虚拟夹具的半径时，生成指向所述术野图像中心点的阻力并施加在所述主操作手机器上。

优选的，所述方法还包括：