[发明专利]编码器、编码器和解码器框架及多目标跟踪与分割方法

说明书

本发明属于神经网络技术领域，公开了编码器、编码器和解码器框架及多目标跟踪与分割方法，输入模块用于获取当前帧图片和上一帧分割结果生成的高斯分布热力图；多尺度特征生成模块，用于对输入模块得到的当前帧图片和上一帧分割结果生成的高斯分布热力图进行特征提取，生成多尺度特征，多尺度特征包括：语义特征和其它特征；记忆增强的特征编码模块用于将语义特征和当前帧的全局上下文矩阵进行关联得到记忆增强的语义特征；输出模块，用于将记忆增强的语义特征和其它特征进行组合得到特征地图。有益效果：通过设置记忆增强的特征编码模块，利用了全局上下文的信息，解决了编码器时域上的连续性问题，可以更好的实现多目标的追踪和分割。

技术领域

本发明涉及神经网络技术领域，特别是涉及编码器、编码器和解 码器框架及多目标跟踪与分割方法。

背景技术

现有技术在进行目标的追踪与分割时往往需要利用编码器和解码 器进行信息处理，但是目前的编码器在进行特征提取时存在时域上的 连续性问题，不利于目标的追踪和分割，需要进行改进。

发明内容

本发明的目的是：对现有的编码器进行改进，克服编码器的时域 不连续的问题，优化多目标的追踪和分割过程。

为了实现上述目的，本发明提供了一种编码器，包括：输入模块、 多尺度特征生成模块、记忆增强的特征编码模块和输出模块；

所述输入模块，用于获取当前帧图片和上一帧分割结果生成的高 斯分布热力图；

所述多尺度特征生成模块，用于对输入模块得到的当前帧图片和 上一帧分割结果生成的高斯分布热力图进行特征提取，生成多尺度特 征，所述多尺度特征包括：语义特征和其它特征；

所述记忆增强的特征编码模块用于将语义特征和当前帧的全局上 下文矩阵进行关联得到记忆增强的语义特征；

所述输出模块，用于将记忆增强的语义特征和其它特征进行组合 得到特征地图。

进一步的，所述多尺度特征生成模块包括：ResNet50和PANet； 当前帧图片和上一帧分割结果生成的高斯分布热力图通过ResNet50和 PANet的特征提取后得到若干不同尺度的特征。

进一步的，高斯分布热力图的背景像素设置为零。

进一步的，所述记忆增强的特征编码模块包括：上下文矩阵生成 模块、上下文矩阵存储模块、当前帧的上下文矩阵生成模块和记忆增 强的语义特征的生成模块；

所述上下文矩阵生成模块，用于将语义特征的当前帧值的记忆特 征图和经过分类器分类的当前帧键的记忆特征图进行点积得到上一帧 的上下文矩阵；

所述上下文矩阵存储模块，用于存储上下文矩阵生成模块所生成 的上下文矩阵；

所述当前帧的上下文矩阵生成模块，用于通过SETet将上下文矩 阵存储模块所存储的若干帧的上下文矩阵生成当前帧的上下文矩阵；

所述记忆增强的语义特征的生成模块，用于将经过分类器的当前 帧值的查询图和当前帧的上下文矩阵进行点积，然后将点积后的结果 和当前帧值的查询图进行关联得到记忆增强的语义特征。

本发明还公开了一种编码器和解码器框架，包括：上述的编码器 和三个同时与编码器连接的解码器；

所述编码器用于得到特征地图；三个解码器依次记为第一解码器、 第二解码器和第三解码器；

所述第一解码器用于根据特征地图生成中心图，所述第二解码器 用于根据特征地图生成框角偏移量和中心偏移量，所述第三解码器用 于根据特征地图生成像素偏移量；

根据中心图和框角偏移量得到分割结果图，根据中心图和中心偏 移量得到追踪图，根据中心图和像素偏移量得到当前帧的高斯分布热 力图。