[发明专利]视频语义分割方法及装置

说明书

本发明实施例提供一种视频语义分割方法及装置，该方法包括：根据视频图像获取图像序列，所述图像序列包括关键帧图像和非关键帧图像；将所述关键帧图像输入已训练好的第一深度神经网络中得到第一语义分割结果，将所述非关键帧图像输入已训练好的第二深度神经网络中得到第二语义分割结果，所述已训练好的第一深度神经网络包括第一全卷积网络，所述已训练好的第二深度神经网络包括第二全卷积网络，所述第一全卷积网络的通道数大于所述第二全卷积网络的通道数；根据所述第一语义分割结果和所述第二语义分割结果，得到所述视频图像的语义分割结果。本发明实施例提供的视频语义分割方法及装置，能够解决现有技术耗时量较大以及计算量较大的问题。

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种视频语义分割方法及装置。

背景技术

语义分割是指将图像像素按照图像中表达语义含义的不同进行分组，在自动驾驶领域，通过车载摄像头或者激光雷达探查到道路的相关图像后，根据语义分割可以将图像进行分割归类，以避让行人和车辆等障碍，因此对道路场景的语义分割对自动驾驶有着十分重要的意义。

现有的道路场景的语义分割方法将探查到的视频分为一帧一帧的图像，针对每一帧图像获取其全局和局部的上下文信息，对每一帧图像分别进行语义分割。由于实际中，采集到的道路场景通常是以视频的方式呈现，而一个视频中可以包括很多帧图像，对于每一帧图像，都需要进行语义分割。因此，当对多帧图像进行语义分割时，由于图像数量较大，这种语义分割的方法在保证分割性能的基础上耗时通常较大，模型的计算量较大。

因此，现在亟需一种视频语义分割方法解决现有技术耗时量较大以及计算量较大的问题。

发明内容

本发明实施例提供一种视频语义分割方法及装置，以解决现有技术耗时量较大以及计算量较大的问题。

第一方面，本发明实施例提供一种视频语义分割方法，包括：

根据视频图像获取图像序列，所述图像序列包括关键帧图像和非关键帧图像；

将所述关键帧图像输入已训练好的第一深度神经网络中得到第一语义分割结果，将所述非关键帧图像输入已训练好的第二深度神经网络中得到第二语义分割结果，所述已训练好的第一深度神经网络包括第一全卷积网络，所述已训练好的第二深度神经网络包括第二全卷积网络，所述第一全卷积网络的通道数大于所述第二全卷积网络的通道数；

根据所述第一语义分割结果和所述第二语义分割结果，得到所述视频图像的语义分割结果。

在一种可能的实现方式中，所述已训练好的第一深度神经网络还包括第一时序记忆单元，所述已训练好的第二深度神经网络还包括第二时序记忆单元；所述将所述关键帧图像输入已训练好的第一深度神经网络中得到第一语义分割结果，将所述非关键帧图像输入已训练好的第二深度神经网络中得到第二语义分割结果，包括：

将第一图像的第一记忆单元状态和所述关键帧图像，输入到所述已训练好的第一深度神经网络中，得到所述关键帧图像的第一语义分割结果，其中，所述第一图像为所述关键帧图像的前一帧图像，所述第一记忆单元状态用于指示所述第一图像与所述第一图像的前一帧图像的差别特征；

将第二图像的第二记忆单元状态和所述非关键帧图像，输入到所述已训练好的第二深度神经网络中，得到所述非关键帧图像的第二语义分割结果，其中，所述第二图像为所述非关键帧图像的前一帧图像，所述第二记忆单元状态用于指示所述第二图像与所述第二图像的前一帧图像的差别特征。

在一种可能的实现方式中，所述第一时序记忆单元具体为第一卷积长短期记忆网络，所述将第一图像的第一记忆单元状态和所述关键帧图像，输入到所述已训练好的第一深度神经网络中，得到所述关键帧图像的第一语义分割结果，包括：

将所述关键帧图像输入到所述第一全卷积网络中，得到对应的第一语义分割特征；