[发明专利]视频语义分割方法及装置

权利要求书

1.一种视频语义分割方法，其特征在于，包括：

根据视频图像获取图像序列，所述图像序列包括关键帧图像和非关键帧图像；

将所述关键帧图像输入已训练好的第一深度神经网络中得到第一语义分割结果，将所述非关键帧图像输入已训练好的第二深度神经网络中得到第二语义分割结果，所述已训练好的第一深度神经网络包括第一全卷积网络，所述已训练好的第二深度神经网络包括第二全卷积网络，所述第一全卷积网络的通道数大于所述第二全卷积网络的通道数，所述已训练好的第一深度神经网络还包括第一时序记忆单元，所述已训练好的第二深度神经网络还包括第二时序记忆单元，所述第一时序记忆单元具体为第一卷积长短期记忆网络，所述第二时序记忆单元具体为第二卷积长短期记忆网络；

根据所述第一语义分割结果和所述第二语义分割结果，得到所述视频图像的语义分割结果

所述将所述关键帧图像输入已训练好的第一深度神经网络中得到第一语义分割结果，将所述非关键帧图像输入已训练好的第二深度神经网络中得到第二语义分割结果，包括：

将第一图像的第一记忆单元状态和所述关键帧图像，输入到所述已训练好的第一深度神经网络中，得到所述关键帧图像的第一语义分割结果，其中，所述第一图像为所述关键帧图像的前一帧图像，所述第一记忆单元状态用于指示所述第一图像与所述第一图像的前一帧图像的差别特征；

将第二图像的第二记忆单元状态和所述非关键帧图像，输入到所述已训练好的第二深度神经网络中，得到所述非关键帧图像的第二语义分割结果，其中，所述第二图像为所述非关键帧图像的前一帧图像，所述第二记忆单元状态用于指示所述第二图像与所述第二图像的前一帧图像的差别特征。

2.根据权利要求1所述的方法，其特征在于，所述将第一图像的第一记忆单元状态和所述关键帧图像，输入到所述已训练好的第一深度神经网络中，得到所述关键帧图像的第一语义分割结果，包括：

将所述关键帧图像输入到所述第一全卷积网络中，得到对应的第一语义分割特征；

将所述第一语义分割特征和所述第一图像的第一记忆单元状态输入到所述第一卷积长短期记忆网络中，得到所述关键帧图像的第一语义分割结果；

所述将第二图像的第二记忆单元状态和所述非关键帧图像，输入到所述已训练好的第二深度神经网络中，得到所述非关键帧图像的第二语义分割结果，还包括：

将所述非关键帧图像输入到所述第二全卷积网络中，得到对应的第二语义分割特征；

将所述第二语义分割特征和所述第二图像的第二记忆单元状态输入到所述第二卷积长短期记忆网络中，得到所述非关键帧图像的第二语义分割结果。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一语义分割结果和所述第二语义分割结果，得到所述视频图像的语义分割结果，包括：

对所述第一语义分割结果进行上采样，得到第一分割图，所述第一分割图与所述关键帧图像的尺寸一致；

对所述第二语义分割结果进行上采样，得到第二分割图，所述第二分割图与所述非关键帧图像的尺寸一致；

根据所述第一分割图和所述第二分割图，得到所述视频图像语义分割结果。

4.根据权利要求1所述的方法，其特征在于，所述已训练好的第一深度神经网络和所述已训练好的第二深度神经网络通过如下步骤获取：

获取样本图像序列和样本标注结果，所述样本图像序列包括样本关键帧图像和样本非关键帧图像，所述样本标注结果包括所述样本关键帧图像和所述样本非关键帧图像的语义分割的标注信息；

根据第一深度神经网络、所述样本关键帧和所述样本关键帧的语义分割的标注信息，得到所述已训练好的第一深度神经网络，其中，所述第一深度神经网络是由第一全卷积网络和第一时序记忆单元构建得到；

对所述第一深度神经网络进行处理，得到第二深度神经网络；

根据所述第二深度神经网络、所述样本非关键帧图像和所述样本非关键帧图像的语义分割的标注信息，得到已训练好的第二深度神经网络。