[发明专利]一种视频处理方法、装置、电子设备及存储介质

说明书

本公开提供了一种视频处理方法、装置、电子设备及存储介质，其中，该视频处理方法包括：获取视频片段；所述视频片段中包括当前帧的第一图像和上一帧的第二图像；确定所述第一图像的目标位置区域的第一语义分割结果以及所述第一图像的目标位置区域的第一特征信息；获取所述第二图像的第二语义分割结果以及所述第二图像的第二特征信息；基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的第二语义分割结果。

技术领域

本公开涉及视频处理技术领域，具体而言，涉及一种视频处理方法、装置、电子设备及存储介质。

背景技术

在使用预先训练的图片语义分割模型对离线视频片段进行语义分割处理，可以将离线视频片段中的图像作为图像输入预先训练的语义分割模型中进行语义分割，得到每帧图像的语义分割结果，这种方式可以识别出单帧图像中包含的目标对象。

但是由于图片语义分割模型会存在一定的误差，在针对不同帧图像中的细节进行语义分割处理时得到的分割结果的精度可能不同，这样视频片段中的相邻两帧图像的语义分割结果会出现不同，比如相邻两帧图像中同一目标对象的轮廓在一帧图像中的轮廓为直线，在后一帧图像中的轮廓为曲线，从而带来视觉上的抖动，因此目前亟需提供一种针对离线视频片段的语义分割方式。

发明内容

本公开实施例至少提供一种视频处理方案。

第一方面，本公开实施例提供了一种视频处理方法，包括：

获取视频片段；所述视频片段中包括当前帧的第一图像和上一帧的第二图像；

确定所述第一图像的目标位置区域的第一语义分割结果以及所述第一图像的目标位置区域的第一特征信息；

获取所述第二图像的第二语义分割结果以及所述第二图像的第二特征信息；

基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的第二语义分割结果。

本公开实施例中，在语义分割中，特征信息相似的像素点属于同一语义分割结果的可能性较大，以及视频片段中相邻两帧图像的语义分割结果的关联性较大，因此在确定第一图像的第二语义分割结果时，可以同时结合第一图像和与该第一图像相邻的第二图像的语义分割结果和特征信息，从而得到第一图像对应的准确度较高的第二语义分割结果，以便降低语义分割的预测误差带来的帧间抖动的问题，达到优化视觉效果的作用。

在一种可能的实施方式中，根据以下方式确定所述第一图像的目标位置区域的第一特征信息：

提取所述第一图像的目标位置区域中每个第一像素点的颜色特征值和位置特征值；

基于所述第一像素点的所述颜色特征值、所述位置特征值和时域特征值，生成所述第一像素点的第一特征信息；所述时域特征值用于表示所述第一图像与所述第二图像之间的采集时间顺序信息。

本公开实施例中，提出可以通过颜色特征值、位置特征值和时域特征值构成准确表征第一图像的目标位置区域中的每个第一像素点特征的第一特征信息，通过每个第一像素点的第一特征信息，可以为调整得到第一像素点准确度较高的语义分割结果做准备。

在一种可能的实施方式中，所述目标位置区域为所述第一图像中的部分区域；所述基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的第二语义分割结果，包括：

基于所述第一语义分割结果和所述第一特征信息、所述第二语义分割结果和所述第二特征信息，确定所述第一图像的目标位置区域的第二语义分割结果；

基于所述第一图像的目标位置区域的第二语义分割结果以及所述第一图像的目标位置区域以外的其它位置区域的设定语义分割结果，得到所述第一图像的第二语义分割结果。