[发明专利]一种长期记忆学习的多通道神经网方法

说明书

本发明公开了一种长期记忆学习的多通道神经网方法，通过FPN提取已观察的过去帧的图像特征，并依次经过基于ConvLSTM的实例分割预测网络、Mask R‑CNN head得到实例分割预测结果。本发明挖掘了各层级间的金字塔特征之间存在的内在联系，利用包含时空语义信息的金字塔特征对视频中的表现变化进行建模，模型中用ConvLSTM来捕捉对应的金字塔特征层级内部的时空联系，通过增加ConvLSTM之间的路径连接使得不同层级间可以相互传递语义信息，克服了现有技术根据观察到的过去帧中提取金字塔特征的过程中每个层级的金字塔特征都是独立预测的缺陷，进而提高特征预测的准确度。

技术领域

本发明属于人工智能、计算机视觉和实例分割预测的技术领域，具体涉及一种长期记忆学习的多通道神经网方法。

背景技术

实例分割是指对给定图像或视频中出现的所有感兴趣的物体进行实例级别的语义分割，相比于仅区分每个像素类别的语义分割难度更大。实例分割既要区分不同物体的类别，同时要区分同一类别的不同物体。近年来实例分割问题得到了广泛的关注和研究，其中基于深度学习的方法取得了显著的成功。现有的方法大多数都是通过学习空间语义信息的特征表示实现对于图像中物体的实例分割。例如Dai J.等人提出利用图像像素与实例之间的相对位置关系产生实例级别的分割候选对象。He K.等人在Faster R-CNN中增加一个新的分支用于预测对象的掩模，与已有的物体边界框检测和分类分支共同实现实例分割。Liu Y.等人提出通过自下而上的路径聚合来增强空间维度的层间语义信息。

上述方法大多是针对事后实例分割任务，即其中待分割的图像是已经获取到的，但是在现实生活中，人们往往希望在获取到相应的图像之前就得到未来的实例分割预测结果，例如在自动驾驶中实例分割预测是预测汽车在未来是否会与其他物体发生碰撞的基础技术，在这些类似的任务中实例分割预测比事后实例分割显得更加重要。现有的工作主要是基于深度学习模型的卷积神经网络(CNN)和递归神经网络(rCNN)预测未来帧。例如，Ranzato M.等人使用递归卷积神经网络(rCNN)预测未来帧，以此捕获更多的空间语义信息。Oh J.等人使用CNN和RNN构建了编码-转换-解码的网络结构，直接生成未来视频帧中的像素值。而在语义分割预测和实例分割预测上，Luc P.等人根据观察到的过去视频帧中提取的sofmax操作后的激活值来预测未来帧的sofmax操作后的激活值，进而生成未来视频的语义分割预测结果。Luc P.等人更进一步地提出了一个更有挑战性的预测视频中未来的实例分割结果的任务，并设计了特征分辨率保持不变的CNN模型F2F预测未来帧的金字塔特征来解决该问题。

上述方法主要是对空间和时间两个维度的表现变化进行建模，最新的方法由LucP.等人提出，他们的方法根据观察到的过去帧中提取的金字塔特征来预测未来帧的金字塔特征，然而其中各个层级的金字塔特征都是独立预测的，使得不同金字塔层级特征之间的内在联系被忽略，而实际上金字塔特征之间存在着紧密的内在联系，不同层的特征有着不同的分辨率和感受野，这使得不同层的特征描述了同一图像的不同方面。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种长期记忆学习的多通道神经网方法，利用包含时空语义信息的金字塔特征对视频中的表现变化进行建模，并可以与Mask R-CNN(mask region convolutional neural network)head和特征金字塔网络(feature pyramid network，以下简称FPN)特征提取器联合优化，组成端到端的联合学习系统，实现实例分割预测。

为了达到上述目的，本发明采用以下技术方案：

本发明提供了一种长期记忆学习的多通道神经网方法，包括下述步骤：

S1、利用特征金字塔网络提取已观察的过去帧的RGB图像的多层金字塔特征；