[发明专利]层次化时域切分的视频关注对象分割方法和装置

权利要求书

1.一种层次化时域切分的视频关注对象分割方法，其特征在于，包括：

根据待处理的视频，得到帧图片序列，所述帧图片序列为由所述视频分解得到的时域连续的帧图片；

对所述帧图片序列迭代N次奇偶切分处理，获得2^N个子帧序列，其中，所述奇偶切分处理为在每个待切分的父序列中将奇数次序的帧图片确定为奇数帧序列，将偶数次序的帧图片确定为偶数帧序列，所述2^N个子帧序列为迭代第N次奇偶切分处理中得到的奇数帧序列和偶数帧序列，N为大于或等于1的整数；

根据所述2^N个子帧序列，获得2^N-1个共分割序列对，每个所述共分割序列对包含2个所述子帧序列；

用预设的共分割模型对所述共分割序列对中的帧图片进行共分割处理，得到每个所述帧图片中针对所述关注对象的分割图；所述预设的共分割模型为预先训练好的共分割模型；

所述用预设的共分割模型对所述共分割序列对中的帧图片进行共分割处理，得到每个所述帧图片中针对所述关注对象的分割图，包括：

将每个所述共分割序列对中一个子帧序列的每个帧图片，与另一个子帧序列的每个帧图片分别配对，得到M1*M2个不同的帧图片对，其中，所述M1为所述一个子帧序列中帧图片的数量，所述M2为所述另一个子帧序列中帧图片的数量；

以预设的共分割模型对每个所述帧图片对中的2个帧图片进行共分割，得到每个帧图片对中每个帧图片针对所述关注对象的共分割图，其中所述共分割图中仅剩余所述关注对象的图像；

根据每个帧图片的所有所述共分割图，得到每个帧图片中针对所述关注对象的分割图，其中，所述分割图的任一个像素点位置的值，为所述帧图片的所有共分割图在所述任一个像素点位置的平均值。

2.根据权利要求1所述的方法，其特征在于，在所述以预设的共分割模型对每个所述帧图片对中的2个帧图片进行共分割之前，还包括：

将每个帧图片的尺寸都缩放至预设图片尺寸；

将每个帧图片中所有像素点位置的值都减去预设图像均值。

3.根据权利要求1所述的方法，其特征在于，所述以预设的共分割模型对每个所述帧图片对中的2个帧图片进行共分割，得到每个帧图片对中每个帧图片针对所述关注对象的共分割图，包括：

将每个帧图片对中的2个帧图片分别确定为第一输入帧图片和第二输入帧图片；

对所述第一输入帧图片和第二输入帧图片分别依次进行第一卷积处理、第二卷积处理、第一池化处理、第三卷积处理、第四卷积处理、第二池化处理，第五卷积处理、第六卷积处理、第七卷积处理、第三池化处理、第八卷积处理、第九卷积处理、第十卷积处理，得到与第一输入帧图片对应的第一中间处理结果和与第二输入帧图片对应的第二中间处理结果；

将所述第一中间处理结果和所述第二中间处理结果进行通道拼接，得到拼接结果；

对所述拼接结果进行降维卷积处理、第一融合卷积处理、第二融合卷积处理、第三融合卷积处理，得到共享处理结果；

将所述第一中间处理结果与所述共享处理结果进行通道拼接，得到第三中间处理结果，并将所述第二中间处理结果与所述共享处理结果进行通道拼接，得到第四中间处理结果；

对所述第三中间处理结果和所述第四中间处理结果分别依次进行第十一卷积处理、第十二卷积处理、第十三卷积处理、第十四卷积处理、反卷积处理，得到尺寸与所述第一输入帧图片一致的第一反卷积结果，以及尺寸与所述第二输入帧图片一致的第二反卷积结果；

根据所述第一反卷积结果得到与所述第一输入帧图片对应的第一输出帧图片，并根据所述第二反卷积结果得到与所述第二输入帧图片对应的第二输出帧图片，其中，所述第一输出帧图片和第二输出帧图片分别为所述每个帧图片对中的2个帧图片针对所述关注对象的共分割图。