[发明专利]视频对象分割模型训练方法、装置、电子设备及存储介质

权利要求书

1.一种视频对象分割模型训练方法，其特征在于，包括：

获取多个原始图像，以及每个原始图像中的对象对应的掩膜图像；

基于所述每个原始图像和所述每个原始图像中的对象对应的掩膜图像，确定所述每个原始图像对应的变换图像集；所述每个原始图像对应的变换图像集包括所述原始图像对应的K张变换图像，且各张变换图像携带有变换掩膜图像；各张变换掩膜图像由所述各张变换掩膜图像所属的变换图像集对应的掩膜图像变换得到；所述K为大于1的整数；

基于所述多个原始图像对应的所述变换图像集，对原始分割模型进行第一训练，得到视频对象分割模型。

2.根据权利要求1所述的视频对象分割模型训练方法，其特征在于，所述基于所述每个原始图像和所述每个原始图像中的对象对应的掩膜图像，确定所述每个原始图像对应的变换图像集，包括：

从所述每个原始图像中的对象对应的掩膜图像中确定目标对象对应的目标掩膜图像；所述每个原始图像中的对象包括所述目标对象；

对所述每个原始图像进行预设变换，得到所述每个原始图像对应的K张变换图像；

对所述目标对象对应的目标掩膜图像进行所述预设变换，得到所述目标掩膜图像对应的K张变换掩膜图像；

基于所述每个原始图像对应的，所述K张变换图像和所述K张变换掩膜图像确定所述每个原始图像对应的变换图像集。

3.根据权利要求2所述的视频对象分割模型训练方法，其特征在于，所述预设变换包括：

通过模拟帧间运行信息进行的预设变换；

或者通过模拟扭曲变形信息进行的预设变换；

或者通过数据增强进行的预设变换。

4.根据权利要求1所述的视频对象分割模型训练方法，其特征在于，所述获取每个原始图像中的对象对应的掩膜图像，包括：

对所述每个原始图像中的预设对象进行识别，确定所述预设对象对应的掩膜图像。

5.根据权利要求1或者4所述的视频对象分割模型训练方法，其特征在于，所述获取每个原始图像中的对象对应的掩膜图像，包括：

对所述每个原始图像中的每个对象进行识别，确定所述每个原始图像中的每个对象的像素；

基于所述每个对象的像素对所述原始图像进行二值化处理，得到所述每个原始图像对应的掩膜图像；

对所述每个原始图像对应的掩膜图像进行连通区域分割处理，得到所述每个原始图像中的每个对象对应的掩膜图像。

6.根据权利要求1-4任一所述的视频对象分割模型训练方法，其特征在于，所述基于所述多个原始图像对应的所述变换图像集，对原始分割模型进行第一训练，得到视频对象分割模型，包括：

将所述变换图像集中的K张变换图像组成对象合成视频；

将所述对象合成视频中的多张变换图像确定为多个第一图像帧；

将所述多个第一图像帧对应的变换掩膜图像确定为多个第一掩膜；

将所述对象合成视频中的一张变换图像确定为第二图像帧；所述第二图像帧在所述对象合成视频中的位置位于所述多个第一图像帧之后；

将所述多个第一图像帧和所述多个第一掩膜输入所述原始分割模型中的第一编码器，得到第一特征信息；

将所述第二图像帧输入所述原始分割模型中的第二编码器，得到第二特征信息；

基于所述原始分割模型中的解码器、所述第一特征信息和第二特征信息确定所述第二图像帧对应的预测掩膜；

基于所述第二图像帧对应的预测掩膜和所述变换图像集中，所述第二图像帧对应的变换掩膜图像对所述原始分割模型进行训练，得到所述视频对象分割模型。

7.根据权利要求1所述的视频对象分割模型训练方法，其特征在于，所述得到视频对象分割模型之后，还包括：

获取训练视频；所述训练视频通过设备拍摄获取；

对所述训练视频中的多个目标视频帧进行对象掩膜处理，得到多个目标视频帧对应的多个对象掩膜；所述目标视频帧为所述训练视频中包含有目标对象的视频帧；

基于所述多个目标视频帧和所述多个对象掩膜对所述视频对象分割模型进行第二训练，得到更新后的视频对象分割模型。