[发明专利]一种基于双线性和空间金字塔的池化方法

权利要求书

1.一种基于双线性和空间金字塔的池化方法，其特征在于，包括以下步骤：

S1：根据监控系统记录的时间顺序获取视频流，所述的视频流中包含有待检测的对象；

S2：对截取的视频流进行预处理，包括视频镜头分割和关键帧提取，将提取到的关键帧图像作为目标图像；

S3：识别目标图像中的对象并标注候选框，对候选框内的对象进行多特征提取，获取多特征数据；

S4：通过双线性法将目标图像同一位置对应的多特征相乘，得到局部特征图，再将图像中的所有目标位置对应的局部特征图进行求和池化，得到融合后的全局特征图；

S5：将融合后的全局特征图进行金字塔池化，降低特征图的维度；对降维后的特征图进行归一化处理，作为目标图像最终的特征，完成池化操作，将得到的最终特征用于后续分类，实现待检测对象的识别。

2.根据权利要求1所述的基于双线性和空间金字塔的池化方法，其特征在于，获取的视频流中包括待检测对象的不同视角的拍摄图像。

3.根据权利要求1所述的基于双线性和空间金字塔的池化方法，其特征在于，在所述的步骤S2和步骤S3之间，还包括采用块匹配的方法将每一个关键帧图像划分为区域块的步骤，连续帧之间的相似性通过比较对应的区域块来进行判断。

4.根据权利要求1所述的基于双线性和空间金字塔的池化方法，其特征在于，所述的多特征数据包括不同层级或不同类别的特征。

5.根据权利要求1所述的基于双线性和空间金字塔的池化方法，其特征在于，所述的双线性法的计算公式为：

f_A(l,I)∈R^1×M

f_B(l,I)∈R^1×N

式中，b(l,I,f_A,f_B)表示经双线性融合后的在目标图像I的位置l处的局部特征图，f_A(l,I)和f_B(l,I)是在图像I的相同位置l处提取到的两个特征，M和N为特征通道数，T是转置。

6.根据权利要求5所述的基于双线性和空间金字塔的池化方法，其特征在于，对图像中的所有目标位置对应的局部特征图进行求和池化，得到全局特征图，计算公式为：

式中，ξ(I)表示目标图像的全局特征图。

7.根据权利要求1所述的基于双线性和空间金字塔的池化方法，其特征在于，所述的金字塔池化过程包括：

7.1)使用不同刻度的窗口对全局特征图进行划分，每种刻度代表金字塔的一层，在每一层中均将全局特征图划分成为图像块；

7.2)对每一个图像块进行统一的池化操作，设置每一层池化得到的特征图层个数作为权值；

7.3)将每一层生成的对应维度的特征向量进行级联；

7.4)对级联后的特征向量进行归一化处理，作为目标图像最终的特征。

8.根据权利要求7所述的基于双线性和空间金字塔的池化方法，其特征在于，所述的步骤7.2)所述的池化操作为最大池化、平均池化或者随机池化。

9.根据权利要求1所述的基于双线性和空间金字塔的池化方法，其特征在于，将融合后的全局特征图进行金字塔池化后，以统一的标准维度输出。