[发明专利]用于机器人外科手术平台的基于机器学习的视觉-触觉反馈系统

说明书

本发明题为“用于机器人外科手术平台的基于机器学习的视觉‑触觉反馈系统”。本文所述的实施方案提供了用于基于捕获的内窥镜图像生成触觉反馈信号的视觉‑触觉反馈系统的各种示例。在一个方面，用于生成该触觉反馈信号的方法包括以下步骤：接收针对在机器人外科手术系统上执行的外科手术规程捕获的内窥镜视频；检测该内窥镜视频中涉及给定类型的外科手术工具‑组织交互的外科手术任务；选择被配置用于分析该给定类型的外科手术工具‑组织交互的机器学习模型；对于与描绘该给定类型的外科手术工具‑组织交互的该检测到的外科手术任务相关联的视频图像，将该选择的机器学习模型应用于该视频图像以预测该描绘的外科手术工具‑组织交互的强度水平；以及然后向执行该外科手术任务的外科医生提供该预测强度水平，作为该给定类型的外科手术工具‑组织交互的触觉反馈信号。

技术领域

本公开整体涉及构建外科手术视频分析工具，并且更具体地涉及用于基于描绘外科手术工具-组织交互类型的捕获的内窥镜图像生成触觉反馈信号并且向执行涉及外科手术工具-组织交互类型的外科手术任务的外科医生提供触觉反馈信号的系统、设备和技术。

背景技术

在包括常规腹腔镜规程在内的常规外科手术规程中，握持一个或两个外科手术工具并且随后将一个或两个外科手术工具施加到组织上的外科医生，例如，通过推动或牵拉组织，实际上可感觉到由于通过外科手术工具传输回外科医生的物理触觉反馈而对组织施加的压力或张力。基于该物理触觉反馈，外科医生可快速调节施加的力，直到接收到期望的物理触觉反馈。

相比之下，在机器人外科手术平台中，与远程控制器一起工作的外科医生与机器人臂和与外科受检者交互的端部执行器/外科手术工具物理地和机械地分离，并且因此不接收物理触觉反馈。为了计量施加的力，通常使用“视觉触觉”技术。更具体地，外科医生在视频监视器上的视频馈送中观看组织在施加的力下的视觉外观，并且使用他们的经验和专业知识在他们在视频馈送看到的内容与他们认为应对组织施加的力之间做出精神映射，并且在必要时对施加的力做出调整。

然而，在基于从一个外科医生到另一个外科医生以及在不同技能/经验水平的外科医生之间的视觉外观来判断对组织施加的力，可存在大量的不一致性。可以预期的是，经验更丰富的外科医生可基于视觉触觉做出比经验不太丰富的外科医生更准确的映射。遗憾的是，没有好的方法提供外科医生在视频中看到的内容与真实施加的力之间的一致相关性。

发明内容

在一个方面，公开了一种用于基于捕获的内窥镜视频生成触觉反馈的方法，该捕获的内窥镜视频描绘了在机器人外科手术规程期间一个或多个外科手术工具与组织之间的交互。该方法可通过接收针对在机器人外科手术系统上执行的外科手术规程捕获的内窥镜视频而开始。该方法然后检测内窥镜视频中的外科手术任务，该外科手术任务涉及通过使用一个或多个外科手术工具对组织施加力而引起的给定类型的外科手术工具-组织交互。接下来，该方法基于检测到的外科手术任务从一组机器学习模型中选择机器学习模型，其中该组机器学习模型中的每个机器学习模型被训练成分析给定类型的外科手术工具-组织交互。对于与描绘给定类型的外科手术工具-组织交互的检测到的外科手术任务相关联的视频图像，该方法然后将选择的机器学习模型应用于视频图像，以预测描绘的外科手术工具-组织交互的强度水平。最后，该方法向执行外科手术任务的外科医生提供预测的强度水平，作为给定类型的外科手术工具-组织交互的触觉反馈信号。

在一些实施方案中，该方法通过检测进入视野中的一个或多个外科手术工具来检测内窥镜视频中涉及给定类型的外科手术工具-组织交互的外科手术任务。

在一些实施方案中，选择的机器学习模型被训练成将描绘给定类型的外科手术工具-组织交互的视频图像或视频图像序列分类成针对给定类型的外科手术工具-组织交互定义的一组预定强度水平中的一个。

在一些实施方案中，该方法将选择的机器学习模型应用于视频图像，以基于分析描绘的外科手术工具-组织交互的视觉外观，通过针对给定类型的外科手术工具-组织交互将视频图像分类成一组预定强度水平中的一个来预测描绘的外科手术工具-组织交互的强度水平。