[发明专利]用于机器人外科手术平台的基于机器学习的视觉-触觉反馈系统

权利要求书

1.一种用于基于捕获的内窥镜视频生成触觉反馈的计算机实现的方法，所述内窥镜视频描绘了在机器人外科手术规程期间一个或多个外科手术工具与组织之间的交互，所述方法包括：

接收针对在机器人外科手术系统上执行的外科手术规程捕获的内窥镜视频；

检测所述内窥镜视频中的外科手术任务，所述外科手术任务涉及通过使用一个或多个外科手术工具对组织施加力而引起的给定类型的外科手术工具-组织交互；

基于所述检测到的外科手术任务从一组机器学习模型中选择机器学习模型，其中所述一组机器学习模型中的每个机器学习模型被训练成分析给定类型的外科手术工具-组织交互；

对于与描绘所述给定类型的外科手术工具-组织交互的所述检测到的外科手术任务相关联的视频图像或视频图像序列，将所述选择的机器学习模型应用于所述视频图像或所述视频图像序列，以预测所述描绘的外科手术工具-组织交互的强度水平；以及

向执行所述外科手术任务的外科医生提供所述预测强度水平作为用于所述给定类型的外科手术工具-组织交互的触觉反馈信号。

2.根据权利要求1所述的计算机实现的方法，其中检测所述内窥镜视频中涉及所述给定类型的外科手术工具-组织交互的所述外科手术任务包括检测进入视野中的一个或多个外科手术工具。

3.根据权利要求1所述的计算机实现的方法，其中所述选择的机器学习模型被训练成将描绘所述给定类型的外科手术工具-组织交互的视频图像或视频图像序列分类成针对所述给定类型的外科手术工具-组织交互定义的一组预定强度水平中的一个。

4.根据权利要求3所述的计算机实现的方法，其中将所述选择的机器学习模型应用于所述视频图像或所述视频图像序列以预测所述描绘的外科手术工具-组织交互的所述强度水平包括基于分析所述描绘的外科手术工具-组织交互的视觉外观，将所述视频图像或所述视频图像序列分类成针对所述给定类型的外科手术工具-组织交互的所述一组预定强度水平中的一个。

5. 根据权利要求1所述的计算机实现的方法，其中向执行所述外科手术任务的所述外科医生提供所述预测强度水平包括：

由所述选择的机器学习模型将所述预测强度水平转换成物理反馈信号；以及

经由所述机器人外科手术系统的用户界面设备（UID）将所述转换的物理反馈信号传送至执行所述外科手术任务的所述外科医生。

6.根据权利要求5所述的计算机实现的方法，其中所述物理反馈信号是机械振动，并且其中经由所述机器人外科手术系统的所述UID将所述转换的物理反馈信号传送至所述外科医生包括将所述机械振动传输到由所述外科医生握持的所述UID的远程控制器，使得所述外科医生可直接感觉到所述物理反馈信号。

7.根据权利要求6所述的计算机实现的方法，其中所述方法还包括使用所述机械振动的不同频率或不同强度表示所述给定类型的外科手术工具-组织交互的不同预测强度水平。

8.根据权利要求5所述的计算机实现的方法，其中所述物理反馈信号是听觉信号，并且其中经由所述机器人外科手术系统的所述UID将所述转换的物理反馈信号传送至所述外科医生包括使用所述UID的扬声器传输所述听觉信号，使得所述外科医生能够直接听到所述物理反馈信号。

9.根据权利要求8所述的计算机实现的方法，其中所述方法还包括使用所述听觉信号的不同音量或不同音高表示所述给定类型的外科手术工具-组织交互的不同预测强度水平。

10.根据权利要求1所述的计算机实现的方法，其中通过使用所述一个或多个外科手术工具对所述组织施加压缩力来引起所述给定类型的外科手术工具-组织交互。

11.根据权利要求1所述的计算机实现的方法，其中通过使用所述一个或多个外科手术工具对所述组织施加张力来引起所述给定类型的外科手术工具-组织交互。