[发明专利]基于半监督时空注意力网络的视频息肉分割方法、装置

权利要求书

1.一种基于半监督时空注意力网络的视频息肉分割方法，其特征在于，所述方法，包括：

获取待检测病人的肠镜视频数据；

将所述肠镜视频数据分割成预设大小的视频片段，并输入至预设息肉分割模型中，所述预设息肉分割模型包括N层编码器以及N层解码器；

按照1至N-1层的顺序，依次将每层编码器的输出特征，作为下一层编码器的输入特征，以及时间局部上下文注意力模块的输入特征；

通过接近帧间时空注意力模块，对第N层编码器的输出特征进行注意力机制计算，以获取时空特征，并作为第一层解码器的输入特征，所述接近帧间时空注意力模块包括时间注意力模块、空间注意力模块以及多层感知器，通过所述空间注意力模块将一帧视频帧的每一个分块，与其余视频帧中的相同位置的分块，进行注意力机制计算，以获取第一特征；将所述第一特征与所述第N层编码器的输出特征进行连接，并输入至所述空间注意力模块中；在空间注意力模块中，将一帧视频帧中的每一个分块，与同一视频帧不同位置的分块，进行注意力机制计算，以获取第二特征，将所述第二特征输入至所述多层感知器中进行处理，以获取所述时空特征；

按照1至N-1层的顺序，依次将每层解码器的输出特征，以及上一层编码器的输出特征，通过时间局部上下文注意力模块，进行注意力机制计算，以获取时间特征，将所述时间特征与所述解码器的输出特征，作为上一层解码器的输入特征，直到通过第N层解码器输出实际分割结果。

2.如权利要求1所述的基于半监督时空注意力网络的视频息肉分割方法，其特征在于，所述通过时间局部上下文注意力模块，进行注意力机制计算，以获取时间特征，包括：

分别对所述每层解码器的输出特征，进行特征图计算，以获取第三特征；

将所述第三特征，与所述上一层编码器的输出特征进行相乘，并加上所述上一层编码器的输出特征，以获取所述时间特征。

3.如权利要求1所述的基于半监督时空注意力网络的视频息肉分割方法，其特征在于，所述预设息肉分割模型，通过如下方式获取：

创建原始息肉分割模型；

获取训练视频数据集，所述训练视频数据集包括有标注视频数据以及无标注视频数据；

将所述有标注视频数据以及所述无标注视频数据输入至所述原始息肉分割模型中，进行半监督训练，以生成所述预设息肉分割模型。

4.如权利要求3所述的基于半监督时空注意力网络的视频息肉分割方法，其特征在于，所述将所述有标注视频数据以及所述无标注视频数据输入至所述原始息肉分割模型中，进行半监督训练，包括：

将所述有标注视频数据以及所述无标注视频数据输入至所述原始息肉分割模型中；

计算所述原始息肉分割模型输出的分割结果的交叉熵以及Dice损失函数，并对所述原始息肉分割模型进行更新；

计算相邻数据帧的分割结果之间的距离损失，对所述原始息肉分割模型进行监督学习。