[发明专利]视频目标分割方法、装置、电子设备及存储介质

权利要求书

1.一种视频目标分割方法，其特征在于，包括：

确定第一目标帧的第一目标特征、第一参考帧的第一参考特征和所述第一参考帧的参考分割图，所述第一目标帧为待分割的视频中未进行目标分割的视频帧，所述第一参考帧为所述视频中已进行目标分割的视频帧，所述第一参考帧与所述第一目标帧之间的间隔大于第一预设时长；

基于所述第一目标帧的第一非局部注意力，对所述第一目标特征进行加权，得到第二目标特征，以及基于所述第一参考帧的第二非局部注意力，对所述第一参考特征进行加权，得到第二参考特征；

基于所述第二目标特征和所述第二参考特征，确定第一偏移信息，所述第一偏移信息用于表示位置对应的第一像素点与第二像素点之间的偏移，所述第一像素点为所述第一目标帧中的像素点，所述第二像素点为所述第一参考帧中的像素点；

基于所述第一偏移信息，对所述第二参考特征进行偏移处理，得到偏移后的第二参考特征，确定所述偏移后的第二参考特征与所述第二目标特征之间的第一局部注意力；

将所述参考分割图和所述第一局部注意力输入目标分割模型，得到所述第一目标帧的第一目标分割图。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第二目标特征和所述第二参考特征，确定第一偏移信息，包括：

将所述第二目标特征和所述第二参考特征进行拼接，得到第一特征；

将所述第一特征输入偏移预测模型，得到所述第一偏移信息。

3.根据权利要求1所述的方法，其特征在于，所述将所述参考分割图和所述第一局部注意力输入目标分割模型，得到所述第一目标帧的第一目标分割图，包括：

通过所述目标分割模型，对所述参考分割图中的每个第三像素点进行滑窗提取，得到与所述每个第三像素点对应的多个第一邻域图，将所述多个第一邻域图进行拼接，得到滑窗提取后的参考分割图；

对所述滑窗提取后的参考分割图和所述第一局部注意力分别进行维度变换，得到维度变换后的参考分割图和维度变换后的第一局部注意力，所述维度变换后的参考分割图与所述维度变换后的第一局部注意力的维度相同；

基于所述维度变换后的参考分割图与所述维度变换后的第一局部注意力，确定所述第一目标帧的第一目标分割图。

4.根据权利要求3所述的方法，其特征在于，所述基于所述维度变换后的参考分割图与所述维度变换后的第一局部注意力，确定所述第一目标帧的第一目标分割图，包括：

对于所述维度变换后的参考分割图中的每个第四像素点，从所述维度变换后的第一局部注意力中确定多个相似度，所述多个相似度为所述第四像素点与其他像素点之间的相似度；

基于所述多个相似度，对所述第四像素点的像素值进行加权求和，得到加权求和后的像素值；

将所述第四像素点的像素值修改为所述加权求和后的像素值，得到所述第一目标帧的第一目标分割图。

5.根据权利要求1所述的方法，其特征在于，所述基于所述第一目标帧的第一非局部注意力，对所述第一目标特征进行加权，得到第二目标特征，包括：

对所述第一非局部注意力进行归一化处理，得到第一权重；

通过所述目标分割模型对所述第一权重和所述第一目标特征进行矩阵相乘处理，得到第三目标特征；

将所述第三目标特征与所述第一目标特征进行叠加，得到所述第二目标特征。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一参考帧与所述第一目标帧之间的间隔不大于所述第一预设时长的情况下，将所述第一参考特征与所述第一目标特征之间的第二局部注意力和所述参考分割图，输入所述目标分割模型，得到所述第一目标帧的第一目标分割图。