[发明专利]半监督视频目标分割方法及装置

权利要求书

1.一种半监督视频目标分割方法，包括：

获取待分割视频的模板帧图像、模板帧图像分割标签及待查询帧图像；

将所述模板帧图像及所述模板帧图像分割标签输入至第一编码器提取特征，得到复合特征；

将所述待查询帧图像输入至第二编码器提取特征，得到图像特征；

将所述复合特征及所述图像特征输入至预先训练的时序推断模块进行分割结果预测，得到所述待查询帧图像对应的预测分割结果；

其中，所述将所述复合特征及所述图像特征输入至预先训练的时序推断模块进行分割结果预测，得到所述待查询帧图像对应的预测分割结果进一步包括：

将所述复合特征与所述图像特征进行相乘运算，得到特征矩阵；

对所述特征矩阵在列方向进行第一归一化处理，将第一归一化处理的结果与所述复合特征进行相乘运算，得到聚合特征；

对所述聚合特征进行1*1卷积处理，对1*1卷积处理的结果进行第二归一化处理，得到概率图；

将所述概率图与所述聚合特征进行相乘运算，将相乘运算结果与图像特征按通道方向进行连接后输入至预测模块进行分割结果预测，得到所述待查询帧图像对应的预测分割结果，其中，概率图的各位置取值范围为[0,1]。

2.根据权利要求1所述的方法，其中，将所述复合特征与图像特征进行相乘运算，得到特征矩阵进一步包括：

对所述复合特征进行1*1卷积处理，得到HW×C的复合特征图；

将图像特征展开生成C×HW的图像特征图；

将HW×C的复合特征图与C×HW的图像特征图进行相乘运算，得到HW×HW的特征矩阵，其中，C表示图像通道数量，H表示图像的长、W表示图像的宽。

3.根据权利要求1或2所述的方法，其中，预测模块对连接后的特征进行以下处理：对连接后的特征进行一次3*3卷积处理、一次批归一化处理、一次线性整流函数激活函数的处理、一次1*1卷积处理及第二归一化处理，得到所述待查询帧图像对应的预测分割结果。

4.根据权利要求1或2所述的方法，其中，所述模板帧图像及所述模板帧图像分割标签为待分割视频的第一帧图像及第一帧图像分割标签；

所述待查询帧图像为第一帧图像之后的第t帧图像，其中，t≥2。

5.根据权利要求1或2所述的方法，其中，时序推断模块的训练方法如下：

获取多对样本静态图像标签数据对，其中，每对样本静态图像标签数据对包含：样本静态图像及对应的样本静态图像分割标签；

针对任一样本静态图像标签数据对，对该样本静态图像标签数据对进行两次空间变换处理，得到第一样本静态图像标签数据对和第二样本静态图像标签数据对；

基于第一损失函数，利用第一样本静态图像标签数据对和第二样本静态图像标签数据对时序推断模块进行第一半监督训练；其中，第一样本静态图像标签数据对和第二样本静态图像标签数据对是两组包含相同目标但具有不同外观的数据对；

获取样本视频图像中的样本模板帧图像及对应的样本模板帧图像分割标签及样本查询帧图像，其中，样本查询帧图像为样本视频图像中除样本模板帧图像外的其他帧图像；

基于第二损失函数，利用样本模板帧图像及对应的样本模板帧图像分割标签及样本查询帧图像对第一半监督训练后的时序推断模块进行第二半监督训练，得到训练好的时序推断模块。