[发明专利]显著特征检测方法和装置

权利要求书

1.一种显著特征检测方法，包括：

获取视频帧序列，所述视频帧序列包括目标帧和多个参考帧；

计算所述目标帧与各所述参考帧之间的光流图；

通过第一神经网络模型，对各所述光流图进行编码，分别得到各所述参考帧对应的图像变换特征；

通过第二神经网络模型，根据各所述图像变换特征对所述目标帧的图像特征进行编码，得到所述目标帧的协同编码图像特征；

将所述协同编码图像特征输入像素级别分类器进行检测，输出所述目标帧的显著图。

2.根据权利要求1所述的方法，其特征在于，所述计算所述目标帧与各所述参考帧之间的光流图，包括：

确定所述目标帧中各像素点的第一位置；

在各所述参考帧中查找与所述目标帧中各像素点相应的像素点，确定查找的各像素点的第二位置；

根据所述第一位置和所述第二位置的偏移计算得到所述目标帧与各所述参考帧之间的光流图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一位置和所述第二位置的偏移计算得到所述目标帧与各所述参考帧之间的光流图，包括：

将所述第一位置的水平位置和所述第二位置的水平位置作差，获得所述目标帧中各像素点相对于各所述参考帧中相应的像素点的水平位置偏移；

将所述第一位置的竖直位置和所述第二位置的竖直位置作差，获得所述目标帧中各像素点相对于各所述参考帧中相应的像素点的竖直位置偏移；

根据所述水平位置偏移和所述竖直位置偏移构建二通道矩阵向量，以获得所述目标帧与各所述参考帧之间的光流图。

4.根据权利要求1所述的方法，其特征在于，所述通过第一神经网络模型，对各所述光流图进行编码，分别得到各所述参考帧对应的图像变换特征，包括：

通过所述第一神经网络模型，对所述光流图进行编码，得到各所述光流图对应的编码光流图；

获取所述目标帧的图像特征及各所述参考帧的图像特征；

基于各所述编码光流图，对各所述参考帧对应的图像特征进行线性变换，得到各所述参考帧对应的图像变换特征。

5.根据权利要求4所述的方法，其特征在于，所述通过第一神经网络模型，对各所述光流图进行编码，得到各所述光流图对应的编码光流图，包括：

将各所述光流图输入所述第一神经网络模型；

在所述第一神经网络模型的隐层中，按照所述视频帧序列中各所述参考帧的先后顺序，对各所述光流图进行依次处理得到所述第一神经网络模型对应各所述光流图的隐藏状态；

通过所述第一神经网络模型的卷积层，对得到的各所述隐藏状态进行降维处理，得到各所述光流图对应的编码光流图。

6.根据权利要求5所述的方法，其特征在于，所述在所述第一神经网络模型的隐层中，按照所述视频帧序列中各所述参考帧的先后顺序，对各所述光流图进行依次处理得到所述第一神经网络模型对应各所述光流图的隐藏状态，包括：

按照所述视频帧序列中各所述参考帧的先后顺序，逆序地将各所述光流图作为所述第一神经网络模型的隐层当前处理的光流图；

在当前处理的光流图是所述目标帧与所述视频帧序列中末尾的参考帧之间的光流图时，则通过所述隐层根据所述目标帧与各所述参考帧之间的光流图得到初始的隐藏状态；

在当前处理的光流图不是所述目标帧与所述视频帧序列中末尾的参考帧之间的光流图时，则通过所述隐层根据当前处理的光流图、前次处理的光流图相应的隐藏状态得到当前处理的光流图相应的隐藏状态。