[发明专利]一种视频目标分割方法、装置和设备

说明书

本发明提供了一种视频目标分割方法、装置和设备，所述方法包括：对视频中第一帧图像进行分割目标区域标注，得到分割目标标签；利用所述第一帧图像和所述分割目标标签，通过视频目标分割网络按时间顺序依次对每一帧图像进行预测，得到每一帧图像的分割热力图；其中，所述预测包括利用前一帧图像和前一帧图像的预测结果对后一帧图像进行预测；将所述分割热力图进行二值化处理，得到所述分割目标区域。本发明能有效结合多帧特征信息，对查询帧内的目标分割进行引导，并且其中的变换预测分支网络使目标分割结果更加精准，实现了同时达到高速处理和高精度分割。

技术领域

本发明涉及人工智能领域，具体涉及一种视频目标分割方法、装置和设备。

背景技术

视频目标分割是多媒体领域的新兴课题，对视频中的特定目标进行追踪和分割可以有效提取出关键信息，促进对视频内容的理解。为节省对视频目标的标注时间，半监督的视频目标自动分割技术应运而生，其通过给出视频中特定目标的第一帧标签，自动进行后续每帧图像中的目标分割。已有的视频目标分割方法不能有效利用图像序列的帧间信息，难以同时达到高速处理和高精度分割。

发明内容

(一)要解决的技术问题

不能有效利用图像序列的帧间信息，难以同时达到高速处理和高精度分割。

(二)技术方案

为了解决上述问题，本发明一方面提供了一种视频目标分割方法，所述方法包括：对视频中第一帧图像进行分割目标区域标注，得到分割目标标签；利用所述第一帧图像和所述分割目标标签，通过视频目标分割网络按时间顺序依次对每一帧图像进行预测，得到每一帧图像的分割热力图；其中，所述预测包括利用前一帧图像和前一帧图像的预测结果对后一帧图像进行预测；将所述分割热力图进行二值化处理，得到所述分割目标区域。

可选地，所述通过视频目标分割网络按时间顺序依次对每一帧图像进行预测，包括：对所述第一帧图像和所述分割目标标签连接后进行特征提取，得到第一帧特征；对所述第t-1帧图像和第t-1帧图像的预测结果连接后进行特征提取，得到第t-1帧特征，其中，t＞2；对第t帧图像进行特征提取，得到第t帧特征；将所述第一帧特征与所述t-1帧特征进行连接，形成记忆帧特征；将所述记忆帧特征与所述第t帧特征进行特征匹配，得到预测结果。

可选地，所述对所述第一帧图像和所述分割目标标签连接后进行特征提取，得到第一帧特征，包括：将第一帧图像和分割目标标签连接成4通道数据，通过第一编码器进行特征提取得到第一帧特征图；对所述第一帧特征图进行键-值卷积操作处理，得到第一帧键特征和第一帧值特征，将所述第一帧键特征和第一帧值特征作为所述第一帧特征。

可选地，所述对所述第t-1帧图像和第t-1帧图像的预测结果和连接后进行特征提取，得到第t-1帧特征，包括：将第t-1帧图像和第t-1帧图像的预测结果连接成4通道数据，通过第一编码器特征提取得到第t-1帧特征图；对所述第t-1帧特征图进行键-值卷积操作处理，得到第t-1帧键特征和第t-1帧值特征，将所述第t-1帧键特征和第t-1帧值特征作为所述第t-1帧特征。

可选地，所述对第t帧图像进行特征提取，得到第t帧特征，包括：将第t帧图像的3通道数据，通过第二编码器特征提取得到第t 帧特征图；对所述第t帧特征图进行键-值卷积操作处理，得到第t帧键特征和第t帧值特征，将所述第t帧键特征和第t帧值特征作为所述第t帧特征。

可选地，所述将所述记忆帧特征与所述第t帧特征进行特征匹配，得到预测结果，包括：将所述特征匹配后得到的特征图通过解码器网络进行卷积-上采样处理和归一化处理，得到分割热力图。

可选地，在将所述特征匹配后得到的特征图通过解码器网络进行卷积-上采样处理和归一化处理之前，还包括：利用变换预测分支网络对所述特征匹配后得到的特征图进行优化。