[发明专利]一种实例追踪的方法及装置

权利要求书

1.一种实例追踪的方法，其特征在于，具体包括：

从采集设备连续采集的各帧图像中，确定指定数量的若干帧图像；

根据所述若干帧图像，确定图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述图像序列对应的特征图序列；

确定所述图像序列中各图像中每个像素的位置特征，得到所述图像序列对应的时空特征序列，所述时空特征序列的维度与所述特征图序列的维度相同；

将所述时空特征序列以及所述特征图序列作为输入，输入所述追踪模型的编码器，所述编码器根据预设的追踪实例数量以及所述特征图序列中特征相似度，输出编码结果，所述编码结果包括与各帧图像以及所述追踪实例数量对应的追踪实例的编码特征；

将所述编码结果输入所述追踪模型的解码器，所述解码器根据所述追踪实例数量，输出按照图像序列以及追踪实例预测顺序排列的分类预测序列，其中，所述追踪实例数量以及追踪实例预测顺序，为训练所述追踪模型时根据设置的训练样本的标签训练得到的；

根据所述分类预测序列、所述特征图序列以及所述编码结果，输入所述追踪模型的第二卷神经网络层，进行包含时间维度的三维卷积处理，得到所述图像序列中每帧图像中追踪实例的掩膜，以及每帧图像中追踪实例的追踪结果。

2.如权利要求1所述的方法，其特征在于，确定图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述图像序列对应的特征图序列，具体包括：

将确定出的图像序列作为输入，输入预先训练好的追踪模型的第一卷积神经网络层，得到所述第一卷积神经网络层分别输出的所述图像序列中各图像对应的特征图；

按照所述图像序列中各帧图像的排序，对各图像对应的特征图进行拼接，得到特征图序列。

3.如权利要求1所述的方法，其特征在于，确定所述图像序列中各图像中每个像素的位置特征，得到所述图像序列对应的时空特征序列，具体包括：

通过所述编码器中的位置编码功能，针对所述图像序列中各图像中每个像素，根据该像素在图像中的位置，以及该像素所在图像在所述图像序列中的排序，进行编码得到包含位置特征以及时序特征的处理结果；

根据各像素的处理结果，确定所述图像序列对应的时空特征序列。

4.如权利要求1所述的方法，其特征在于，将所述位置特征序列以及所述特征图序列作为输入，输入所述追踪模型的编码器，所述编码器根据预设的追踪实例数量以及所述特征图序列中特征相似度，输出编码结果，具体包括：

按照所述时空特征序列的维度，将所述时空特征序列的包含的各时空特征，对应添加到具有维度相同的所述特征图序列包含的各图像特征中；

根据预设的追踪实例数量，针对每帧图像对应的添加了时空特征的图像特征，进行扩充，使得每帧图像对应的图像特征的数量与所述追踪实例数量一致；

将对图像特征进行扩充后的特征图序列作为输入，输入所述追踪模型的编码器，得到所述编码器根据各图像特征之间的相似度输出的各图像特征对应的编码结果。

5.如权利要求4所述的方法，其特征在于，将对图像特征进行扩充后的特征图序列作为输入，输入所述追踪模型的编码器之前，所述方法还包括：

根据预设的一维卷积核对进行扩充后的特征图序列进行降维处理，使输入的数据符合作为所述编码器的输入要求。

6.如权利要求1所述的方法，其特征在于，将所述编码结果输入所述追踪模型的解码器，所述解码器根据所述追踪实例数量，输出按照图像序列以及追踪实例预测顺序排列的分类预测序列，具体包括：

将所述编码结果输入所述追踪模型的解码器；

得到按照所述图像序列中各帧图像的顺序，以及预设的每帧图像包含的追踪实例的预测结果的顺序，所述解码器输出的各帧图像包含的追踪实例的分类预测结果，作为分类预测序列。