[发明专利]基于手术视频的手术工作流和活动检测

权利要求书

1.一种方法，包括：

访问手术过程的视频，手术过程包括多个阶段；

将视频划分成一个或多个块，一个或多个块中的每一个包括一个或多个视频帧；

对于每个块：

对各个块的一个或多个视频帧应用预测模型，以对一个或多个视频帧中的每一个获得阶段预测，预测模型被配置为对输入视频帧预测手术过程的多个阶段之一；

通过对一个或多个视频帧聚合阶段预测，对各个块生成聚合阶段预测；以及

基于聚合阶段预测，修改手术过程的视频，以包括对各个块的预测阶段的指示。

2.根据权利要求1所述的方法，其中，对视频帧的阶段预测包括概率向量，概率向量包括视频帧属于手术过程的各个阶段的概率。

3.根据权利要求2所述的方法，其中，对各个块生成聚合阶段预测包括：

对一个或多个视频帧的概率向量求平均，以对块生成平均概率向量；

将对块的聚合阶段预测生成为对应于平均概率向量中的最高概率的阶段；以及

确定聚合阶段预测的置信水平为平均概率向量中的最高概率。

4.根据权利要求1所述的方法，进一步包括：

响应于确定聚合阶段预测的置信水平高于阈值；以及

确定块的预测阶段为聚合阶段预测。

5.根据权利要求4所述的方法，进一步包括：

响应于确定聚合阶段预测的置信水平低于阈值，确定块的预测阶段为先前块的预测阶段。

6.根据权利要求4所述的方法，进一步包括：

响应于确定块的预测阶段包括早于先前块的预测阶段的阶段或晚于后续块的预测阶段的阶段，将块的预测阶段修改为先前块的阶段预测。

7.根据权利要求1所述的方法，进一步包括：训练预测模型以找到用于预测模型的一组参数，使得使用该组参数的损失函数的值小于使用另一组参数的损失函数的值，其中，训练是基于多个训练帧和训练帧的各个标签来执行的。

8.根据权利要求7所述的方法，其中，训练预测模型包括：

接收多个训练帧之一是代表帧的指示；以及

将更高的权重分配给损失函数中的与代表帧相关联的项。

9.根据权利要求7所述的方法，其中，训练预测模型包括：在多个阶段之间的逻辑关系不能被违反的约束下训练预测模型。

10.根据权利要求7所述的方法，其中，训练预测模型基于多个不带标签的训练视频来进一步执行。

11.一种方法，包括：

访问手术过程的视频，手术过程包括多个阶段；

将视频划分成一个或多个块，一个或多个块中的每一个包括一个或多个视频帧；

对于每个块：

对各个块中的一个或多个视频帧生成特征向量；

对特征向量应用预测模型，以对各个块生成阶段预测，阶段预测指示手术过程的阶段；以及

修改手术过程的视频，以包括对各个块的阶段预测的指示。

12.根据权利要求11所述的方法，进一步包括：响应于确定阶段预测的置信水平低于阈值，将对各个块的阶段预测生成为先前块的阶段预测。

13.根据权利要求11所述的方法，其中，对块中的一个或多个视频帧生成特征向量包括：

将第二预测模型应用于一个或多个视频帧，以对每个视频帧生成预测向量；以及

对一个或多个视频帧聚合预测向量，以生成特征向量。

14.根据权利要求13所述的方法，其中，聚合预测向量通过对一个或多个视频帧的预测向量求平均来执行。