[发明专利]视频语义分割方法、模型训练方法、相关装置及电子设备

权利要求书

1.一种视频语义分割方法，其特征在于，包括：

获取第一视频；其中，所述第一视频包括关键帧和非关键帧；

识别所述第一视频的关键帧，基于神经网络模型提取所述关键帧的第一独有特征和第一共享特征；基于所述第一独有特征和第一共享特征确定第一目标特征，基于所述第一目标特征确定所述关键帧的语义分割结果；

识别所述第一视频中与所述关键帧对应的非关键帧，基于所述神经网络模型提取所述非关键帧的第二独有特征；基于所述第一共享特征和所述第二独有特征确定第二目标特征，基于所述第二目标特征确定所述非关键帧的语义分割结果。

2.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括第一卷积层和第二卷积层，其中，所述第一卷积层用于确定所述关键帧的第一独有特征和所述非关键帧的第二独有特征，所述第二卷积层用于确定所述关键帧的第一共享特征。

3.根据权利要求1所述的方法，其特征在于，所述关键帧的第一独有特征用于表征所述关键帧的细节纹理信息，所述关键帧的第一共享特征用于表征所述关键帧的语义信息，所述非关键帧的第二独有特征用于表征所述非关键帧的细节纹理信息。

4.一种用于视频语义分割的神经网络模型训练方法，其特征在于，包括：

获取训练样本；其中，所述训练样本包括多个图像帧集合，每个图像帧集合包括多个图像帧；

识别所述训练样本的第一图像帧集合，针对所述第一图像帧集合中每个图像帧，基于神经网络模型确定所述图像帧的独有特征和共享特征；其中，所述第一图像帧集合为所述多个图像帧集合中的任一图像帧集合；

针对所述第一图像帧集合中的第一图像帧，分别将每个所述共享特征和所述第一图像帧的独有特征进行融合，确定训练目标特征；基于训练目标特征对所述第一图像帧进行语义分割，输出所述第一图像帧的多个语义分割结果；其中，所述第一图像帧为所述第一图像帧集合中任一图像帧；

基于所述第一图像帧的语义分割标签及所述多个语义分割结果更新所述神经网络模型。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

使用最小平方误差函数获取所述第一图像帧集合中各个图像帧的共享特征之间的第二差异信息；

基于所述第二差异信息更新所述神经网络模型。

6.根据权利要求4所述的方法，其特征在于，所述基于所述第一图像帧的语义分割标签及所述多个语义分割结果更新所述神经网络模型的步骤包括：

使用交叉熵损失函数分别获取所述第一图像帧的语义分割标签和所述第一图像帧的多个语义分割结果中每个语义分割结果的第三差异信息；

基于所述第三差异信息更新所述神经网络模型。

7.一种视频语义分割装置，其特征在于，包括：

第一获取模块，被配置为执行获取第一视频；其中，所述第一视频包括关键帧和非关键帧；

第一识别模块，被配置为执行识别所述第一视频的关键帧；

第一提取模块，被配置为执行基于神经网络模型提取所述关键帧的第一独有特征和第一共享特征；

第一确定模块，被配置为执行基于所述第一独有特征和第一共享特征确定第一目标特征，基于所述第一目标特征确定所述关键帧的语义分割结果；

第二识别模块，被配置为执行识别所述第一视频中与所述关键帧对应的非关键帧；

第二提取模块，被配置为执行基于所述神经网络模型提取所述非关键帧的第二独有特征；

第二确定模块，被配置为执行基于所述第一共享特征和所述第二独有特征确定第二目标特征，基于所述第二目标特征确定所述非关键帧的语义分割结果。