[发明专利]用于机器人外科手术平台的基于机器学习的视觉-触觉反馈系统

摘要

本发明题为“用于机器人外科手术平台的基于机器学习的视觉‑触觉反馈系统”。本文所述的实施方案提供了用于基于捕获的内窥镜图像生成触觉反馈信号的视觉‑触觉反馈系统的各种示例。在一个方面，用于生成该触觉反馈信号的方法包括以下步骤：接收针对在机器人外科手术系统上执行的外科手术规程捕获的内窥镜视频；检测该内窥镜视频中涉及给定类型的外科手术工具‑组织交互的外科手术任务；选择被配置用于分析该给定类型的外科手术工具‑组织交互的机器学习模型；对于与描绘该给定类型的外科手术工具‑组织交互的该检测到的外科手术任务相关联的视频图像，将该选择的机器学习模型应用于该视频图像以预测该描绘的外科手术工具‑组织交互的强度水平；以及然后向执行该外科手术任务的外科医生提供该预测强度水平，作为该给定类型的外科手术工具‑组织交互的触觉反馈信号。