[发明专利]一种基于双线性和空间金字塔的池化方法

说明书

本发明公开了一种基于双线性和空间金字塔的池化方法，属于图像处理和计算机视觉领域。本发明包括：获取视频流，截取出待处理的目标图像；提取目标图像中的不同层级或不同类别的特征；将特征组通过双线性法进行融合，得到全局特征图；将融合后的全局特征图进行金字塔池化，降低特征图的维度；对降维后的特征图进行归一化处理，作为目标图像最终的特征，完成池化操作，将得到的最终特征用于后续分类，实现待检测对象的识别。本发明适用于图像中的行为识别和目标检测中的池化操作，降低了多特征融合的维度，提高识别效率，满足识别中对多特征的不同识别要求。

技术领域

本发明涉及图像处理和计算机视觉领域，特别涉及一种基于双线性和空间金字塔的池化方法。

背景技术

身处智能科学技术高速发展的时代中，智能监控的行为识别与目标检测等功能逐渐完善、普及，而其中的卷积神经网络中常使用池化操作用以降低卷积层输出的特征向量维度，在对表达原图语义影响最小的情况下改善结果。介于图像具有“静态性”的特点，在不同的图像区域，存在有用的特征常可共享适用的情况，旨在模仿人的视觉系统，池化操作可以对不同位置的特征进行聚合统计。

传统的池化方式一般有平均池化、最大池化与随机池化等，即取对应图像区域的平均值、最大值或取其中之一的元素，依照其概率大小随机选择，基于随机选择中元素值大被选中的概率也相继提升，这一方面确保了最大值的取值范围，另一方面保存了其他元素的存在感，防止造成过度失真，但无论何种方式，仍伴随着一定量的数据丢失、全连接层的输入需要固定输入维度、类似纹理上的特征的细节特征模糊等问题。

端倪不同池化方法对应的优劣，本发明拟采用双线性池化针对两个特征融合，再通过金字塔池化降维固定输出维度的方式得到对应特征图，对行为识别目标检测的精确性有更好的帮助。

发明内容

为了解决现有的针对于行为识别、目标检侧等的图像池化方法的缺陷，本发明结合双线性池化与金字塔池化，首先对目标图像中的对象进行多特征提取，将特征组进行双线性融合得到融合后的全局特征图，再对其对应位置进行金字塔池化。本发明的池化方法融合了更多的图像特征，降低了数据丢失，为提高后续的分类准确率打下了基础，且针对于任何大小的图像输入，均产生固定大小的输出，能够适应于多种分类器，应用广泛。本发明解决其技术问题所采用的技术方案如下：

一种基于双线性和空间金字塔的池化方法，包括以下步骤：

S1：根据监控系统记录的时间顺序获取视频流，所述的视频流中包含待检测的对象；

S2：对截取的视频流进行预处理，包括视频镜头分割和关键帧提取，将提取到的关键帧图像作为目标图像；

S3：识别目标图像中的对象并标注候选框，对候选框内的对象进行多特征提取，获取多特征数据；

S4：通过双线性法将目标图像同一位置对应的多特征相乘，得到局部特征图，再将图像中的所有目标位置对应的局部特征图进行求和池化，得到融合后的全局特征图；

S5：将融合后的全局特征图进行金字塔池化，降低特征图的维度；对降维后的特征图进行归一化处理，作为目标图像最终的特征，完成池化操作，将得到的最终特征用于后续分类，实现待检测对象的识别。

与现有技术相比，本发明的优势在于：

(1)本发明利用双线性法能够实现对不同层级、多种类别的特征组进行融合，这组特征组可以是不同层级不同频率的有关特征组；也可以是以不同提取方式提取的相似特征组，其单独特征有自身原有的维度。由于融合后的特征图包含了不同层级、不同种类的特征，得到的特征信息更加全面，为提高后续的分类准确率打下了基础。