[发明专利]视频语义分割方法、模型训练方法、相关装置及电子设备

说明书

本公开关于一种视频语义分割方法、模型训练方法、相关装置及电子设备，包括：获取第一视频；其中，所述第一视频包括关键帧和非关键帧；识别所述第一视频的关键帧，基于神经网络模型提取所述关键帧的第一独有特征和第一共享特征；基于所述第一独有特征和第一共享特征确定第一目标特征，基于所述第一目标特征确定所述关键帧的语义分割结果；识别所述第一视频中与所述关键帧对应的非关键帧，基于所述神经网络模型提取所述非关键帧的第二独有特征；基于所述第一共享特征和所述第二独有特征确定第二目标特征，基于所述第二目标特征确定所述非关键帧的语义分割结果。本公开能够提高视频语义分割的效率。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种视频语义分割方法、用于视频语义分割的神经网络模型训练方法、相关装置及电子设备。

背景技术

目前，现实中越来越多的应用场景需要从影像中推理出相关的知识和语义，以进行场景理解。而视频语义分割作为场景理解的任务，其目的是在像素级别上对每个视频帧中的目标进行分类，以将每个视频帧分割成具有高级语义内容的区域。

相关技术中，在进行视频语义分割时，通常是将视频分为两类不同的视频帧，分别为关键帧和非关键帧，其中，关键帧可以理解为作为非关键帧的语义分割的参考视频帧。对于关键帧，通常是采用卷积神经网络(Convolutional Neural Networks，CNN)模型对关键帧进行语义分割，以获得表达能力比较强的高层语义特征。而对于非关键帧，由于视频数据的连续性，可以使用网络预测其特征与关键帧特征之间的空间转移关系，从而对关键帧的高层语义特征进行传播和变换，使之适用于非关键帧，再融合非关键帧的浅层特征，得到非关键帧的完整特征，以用于非关键帧的语义分割。

然而，视频帧特征之间的转移关系以及特征的变换都需要额外的计算，因此，现有技术中视频语义分割方式存在效率比较低的问题。

发明内容

本公开提供一种视频语义分割方法、用于视频语义分割的神经网络模型训练方法、相关装置及电子设备，以至少解决相关技术中视频语义分割方式存在效率比较低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频语义分割方法，包括：

获取第一视频；其中，所述第一视频包括关键帧和非关键帧；

识别所述第一视频的关键帧，基于神经网络模型提取所述关键帧的第一独有特征和第一共享特征；基于所述第一独有特征和第一共享特征确定第一目标特征，基于所述第一目标特征确定所述关键帧的语义分割结果；

识别所述第一视频中与所述关键帧对应的非关键帧，基于所述神经网络模型提取所述非关键帧的第二独有特征；基于所述第一共享特征和所述第二独有特征确定第二目标特征，基于所述第二目标特征确定所述非关键帧的语义分割结果。

可选的，所述神经网络模型包括第一卷积层和第二卷积层，其中，所述第一卷积层用于确定所述关键帧的第一独有特征和所述非关键帧的第二独有特征，所述第二卷积层用于确定所述关键帧的第一共享特征。

可选的，所述关键帧的第一独有特征用于表征所述关键帧的细节纹理信息，所述关键帧的第一共享特征用于表征所述关键帧的语义信息，所述非关键帧的第二独有特征用于表征所述非关键帧的细节纹理信息。

根据本公开实施例的第二方面，提供一种用于视频语义分割的神经网络模型训练方法，包括：

获取训练样本；其中，所述训练样本包括多个图像帧集合，每个图像帧集合包括多个图像帧；

识别所述训练样本的第一图像帧集合，针对所述第一图像帧集合中每个图像帧，基于神经网络模型确定所述图像帧的独有特征和共享特征；其中，所述第一图像帧集合为所述多个图像帧集合中的任一图像帧集合；