[发明专利]视频目标分割方法、装置、电子设备及存储介质

说明书

本公开关于一种视频目标分割方法、装置、电子设备及存储介质，涉及计算机视觉领域。方法包括：确定第一目标帧的第一目标特征、第一参考帧的第一参考特征和第一参考帧的参考分割图；基于第一目标帧的第一非局部注意力对第一目标特征进行加权，得到第二目标特征；基于第一参考帧的第二非局部注意力对第一参考特征进行加权，得到第二参考特征；基于第二目标特征和第二参考特征确定第一偏移信息；基于第一偏移信息对第二参考特征进行偏移处理，得到偏移后的第二参考特征，确定偏移后的第二参考特征与第二目标特征的第一局部注意力；将参考分割图和第一局部注意力输入目标分割模型，得到第一目标帧的第一目标分割图；该方案提高了视频目标分割的精度。

技术领域

本公开涉及计算机视觉领域，尤其涉及视频目标分割方法、装置、电子设备及存储介质。

背景技术

在对视频进行处理的过程中，例如，视频编辑、视频监控等，有时需要对视频进行目标分割，也就是获取视频的每一帧中目标前景的分割图。一般是通过目标分割模型，来对视频进行目标分割。

相关技术中，使用目标分割模型对视频进行目标分割的过程为：从待分割的视频中获取目标帧、参考帧和参考帧的分割图；对于目标帧中的每个第一像素点，从该参考帧中确定与该第一像素点之间的相似度最大的第二像素点，基于该第一像素点、该第二像素点和该参考分割图，通过该目标分割模型，得到目标帧的分割图；而在确定第二像素点时，为了减少计算量，一般是在该参考帧中以第一像素点的像素位置为中点的一定范围的邻域内，等间隔地采样出一系列像素点，将这些像素点作为第二像素点。

上述方法中当参考帧与目标帧之间的时间间隔过大时，由于采样间隔是固定的，因此，该采样间隔可能并不是第一像素点在上述时间间隔内的偏移，也就是说，基于该采样间隔确定出的第二像素点可能不是与第一像素点之间的相似度最大的像素点，从而导致基于第一像素点、第二像素点和参考分割图得到的目标帧的分割图是不准确的，进而导致视频目标分割的精度较低。

发明内容

本公开提供一种视频目标分割方法、装置、电子设备及存储介质，能够提高视频目标分割的精度。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种视频目标分割方法，包括：

确定第一目标帧的第一目标特征、第一参考帧的第一参考特征和所述第一参考帧的参考分割图，所述第一目标帧为待分割的视频中未进行目标分割的视频帧，所述第一参考帧为所述视频中已进行目标分割的视频帧，所述第一参考帧与所述第一目标帧之间的间隔大于第一预设时长；

基于所述第一目标帧的第一非局部注意力，对所述第一目标特征进行加权，得到第二目标特征，以及基于所述第一参考帧的第二非局部注意力，对所述第一参考特征进行加权，得到第二参考特征；

基于所述第二目标特征和所述第二参考特征，确定第一偏移信息，所述第一偏移信息用于表示位置对应的第一像素点与第二像素点之间的偏移，所述第一像素点为所述第一目标帧中的像素点，所述第二像素点为所述第一参考帧中的像素点；

基于所述第一偏移信息，对所述第二参考特征进行偏移处理，得到偏移后的第二参考特征，确定所述偏移后的第二参考特征与所述第二目标特征之间的第一局部注意力；

将所述参考分割图和所述第一局部注意力输入目标分割模型，得到所述第一目标帧的第一目标分割图。

在一些实施例中，所述基于所述第二目标特征和所述第二参考特征，确定第一偏移信息，包括：

将所述第二目标特征和所述第二参考特征进行拼接，得到第一特征；

将所述第一特征输入偏移预测模型，得到所述第一偏移信息。

在一些实施例中，所述将所述参考分割图和所述第一局部注意力输入目标分割模型，得到所述第一目标帧的第一目标分割图，包括：