[发明专利]眼科手术技能评价方法、系统及存储介质

权利要求书

1.一种眼科手术技能评价方法，其特征在于，该方法包括：

识别眼科手术视频片段的手术阶段；

对所述眼科手术视频片段进行图像分割，得到手术器械的掩膜区域；

根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹；

对各手术阶段，基于所述手术器械的运动轨迹进行特征提取，根据评价标签分类，训练分类模型；

对待评价眼科手术视频，利用训练好的分类模型进行分类评价，将分类评价结果与专家评估结果进行一致性验证。

2.根据权利要求1所述的眼科手术技能评价方法，其特征在于，所述识别眼科手术视频片段的手术阶段包括：

以眼科手术视频片段中的手术器械与眼部区域为目标特征，根据时序信息，对手术阶段进行分类；

所述识别眼科手术视频片段的手术阶段具体包括：

通过目标检测网络识别手术器械与眼部区域，从眼科手术视频片段中剪裁出感兴趣区域图像；

通过特征提取网络分别对所述感兴趣区域图像、完整视频帧进行高阶特征提取，将高阶特征融合；

基于融合的高阶特征，训练时序卷积网络，利用所述时序卷积网络对手术阶段进行识别；

所述识别眼科手术视频片段的手术阶段还包括：按照所述手术阶段对获取的眼科手术视频片段进行分类，建立眼科手术视频片段数据集。

3.根据权利要求1所述的眼科手术技能评价方法，其特征在于，所述对所述眼科手术视频片段进行图像分割，得到手术器械的掩膜区域还包括：

当手术器械被遮挡时，基于所述视频片段的前后帧进行刚性配准，对手术器械被遮挡区域进行刚性补齐，得到完整的手术器械的掩膜区域信息。

4.根据权利要求1所述的眼科手术技能评价方法，其特征在于，所述图像分割采用基于马尔可夫随机场的视频分割网络；

所述基于马尔可夫随机场的视频分割网络为：

对于所述视频片段中第i个体素，i表示视频帧，表示视频帧i在视频序列中的序列位置；其标签为u，L={1,2,…, l}，L为标记场，l表示标签类别数；

每个体素对应马尔可夫随机场中一个节点，则第i个体素对应无向图模型中第i个节点，将其用二进制潜变量表示为；

所述基于马尔可夫随机场的分割网络模型如下公式所示：

E(y) =

其中，y表示无向图模型中节点的二进制潜变量；n表示节点集合；ε表示体素间的关系集合，表示视频帧i中像素与标签间的代价函数，表示成对视频帧与标签之间的代价函数。

5.根据权利要求3所述的眼科手术技能评价方法，其特征在于，所述刚性补齐包括：

对分割后的连续帧间手术器械的掩膜进行配准，将前后帧掩膜信息作为先验知识，补齐因手术器械被遮挡导致分割后产生的不完整掩膜；

所述刚性补齐具体包括：

以不完整的手术器械的掩膜作为待配准图像，将其前后帧掩膜图像作为源图像，以其坐标系作为参考坐标系，以手术器械前端和后端连接处作为关键控制点，以关键控制点间的均方差为损失函数，实现待配准图像与源图像间的空间对齐，并根据源图像的区域信息，补齐不完整掩膜的区域信息。

6.根据权利要求1所述的眼科手术技能评价方法，其特征在于，所述根据所述手术器械的掩膜区域进行光流计算，得到所述手术器械的运动轨迹包括：

假设掩膜区域像素坐标为（x,y），则在t时间后运动至（x+Δx, y+Δy），期间像素位移可表示为I（x, y, t）= I(x+Δx, y+Δy, t+Δt)，通过关注连续帧之间的手术器械运动矢量（Δx,Δy）即可获取手术器械的运动轨迹。