[发明专利]一种视频目标分割方法、装置和设备

权利要求书

1.一种视频目标分割方法，其特征在于，所述方法包括：

对视频中第一帧图像进行分割目标区域标注，得到分割目标标签；

利用所述第一帧图像和所述分割目标标签，通过视频目标分割网络按时间顺序依次对每一帧图像进行预测，得到每一帧图像的分割热力图；其中，所述预测包括利用前一帧图像和前一帧图像的预测结果对后一帧图像进行预测；

其中，所述通过视频目标分割网络按时间顺序依次对每一帧图像进行预测，具体包括：

将第一帧图像和分割目标标签连接成4通道数据，通过第一编码器进行特征提取得到第一帧特征图；对所述第一帧特征图进行键-值卷积操作处理，得到第一帧键特征和第一帧值特征，将所述第一帧键特征和第一帧值特征作为第一帧特征；

将第t-1帧图像和第t-1帧图像的预测结果连接成4通道数据，通过第一编码器特征提取得到第t-1帧特征图；对所述第t-1帧特征图进行键-值卷积操作处理，得到第t-1帧键特征和第t-1帧值特征，将所述第t-1帧键特征和第t-1帧值特征作为第t-1帧特征，其中，t＞2；

将第t帧图像的3通道数据，通过第二编码器特征提取得到第t帧特征图；对所述第t帧特征图进行键-值卷积操作处理，得到第t帧键特征和第t帧值特征，将所述第t帧键特征和第t帧值特征作为第t帧特征；

将所述第一帧特征与所述t-1帧特征进行连接，形成记忆帧特征；

将所述记忆帧特征与所述第t帧特征进行特征匹配；

利用变换预测分支网络对所述特征匹配后得到的特征图进行优化；

将所述特征匹配后得到的特征图通过解码器网络进行卷积-上采样处理和归一化处理，得到分割热力图；

将所述分割热力图进行二值化处理，得到所述分割目标区域。

2.根据权利要求1所述的方法，其特征在于，在通过视频目标分割网络按时间顺序依次对每一帧图像进行预测之前，还包括：

利用损失函数对所述视频目标分割网络进行训练：

所述损失函数为：

L＝L_seg+λL_trans

其中，L_seg为解码器网络的损失函数，L_trans为变换预测分支网络的损失函数，λ为平衡比重参数。

3.一种视频目标分割装置，其特征在于，所述装置包括：

特征提取模块，用于对视频中第一帧图像进行分割目标区域标注，得到分割目标标签；

预测模块，用于利用所述第一帧图像和所述分割目标标签，通过视频目标分割网络按时间顺序依次对每一帧图像进行预测，得到每一帧图像的分割热力图；其中，所述预测包括利用前一帧图像和前一帧图像的预测结果对后一帧图像进行预测；

其中，所述通过视频目标分割网络按时间顺序依次对每一帧图像进行预测，具体包括：

将第一帧图像和分割目标标签连接成4通道数据，通过第一编码器进行特征提取得到第一帧特征图；对所述第一帧特征图进行键-值卷积操作处理，得到第一帧键特征和第一帧值特征，将所述第一帧键特征和第一帧值特征作为第一帧特征；

将第t-1帧图像和第t-1帧图像的预测结果连接成4通道数据，通过第一编码器特征提取得到第t-1帧特征图；对所述第t-1帧特征图进行键-值卷积操作处理，得到第t-1帧键特征和第t-1帧值特征，将所述第t-1帧键特征和第t-1帧值特征作为第t-1帧特征，其中，t＞2；

将第t帧图像的3通道数据，通过第二编码器特征提取得到第t帧特征图；对所述第t帧特征图进行键-值卷积操作处理，得到第t帧键特征和第t帧值特征，将所述第t帧键特征和第t帧值特征作为第t帧特征；

将所述第一帧特征与所述t-1帧特征进行连接，形成记忆帧特征；

将所述记忆帧特征与所述第t帧特征进行特征匹配；

利用变换预测分支网络对所述特征匹配后得到的特征图进行优化；

将所述特征匹配后得到的特征图通过解码器网络进行卷积-上采样处理和归一化处理，得到分割热力图；

获取分割结果模块，用于将所述分割热力图进行二值化处理，得到所述分割目标区域。

4.一种电子设备，其特征在于，该电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至2中任一项所述的方法。