[发明专利]时间信息差异的度量算法

说明书

时间信息差异的度量算法，属于计算机视觉应用中的视频理解领域，为了解决增加卷积神经网络可获取信息的种类，时间信息的最大均值差异为：将原始视频图像与卷积特征图分为两个集合，各集合内，相邻的两个图像作为集合内的一组待计算时间信息元素，得到的集合即为第一原始视频图像集合、第一卷积特征图集合，效果是所以两组数据的时间信息也可以被视为拥有直接联系，合理运用两者之间的联系对于视频理解领域及其相关应用具有一定的价值。

技术领域

本发明属于计算机视觉应用中的视频理解领域，具体的说是一种度量视频连续帧与其卷积特征图间差异的方法。

背景技术

深度学习利用神经网络结构构建的模型实现了端到端应用方式的同时，模型本身对于庞大数据中关键信息的储存能力保证了模型的可靠程度，使深度学习模型相较于传统算法来说有着不可比拟的优势，在短暂的几年时间中被图像、语音、文本领域的众多学者研究并取得了长足的发展。

在计算机视觉技术中的目标检测、目标分类、目标识别、目标分割等针对单帧图像应用中，深度学习都能够得到满足实际落地需求精度的对应模型。Faster-RCNN算法作为当下多种目标检测算法的基础计算结构，利用建议区域与提取特征卷积的双重结构在目标检测的过程中相互反馈，将建议区域生成窗口的置信度、卷积特征权重与最终输出目标检测结果的正确率进行关联式计算，使之在神经网络正反向传播的过程中共同提升拟合程度，最终达到优良的效果。深度残差神经网络在多个计算机视觉应用的方向都表现出了良好的效果，它通过阶段式的引入短路层的方法来处理神经元之间交换的信息，使神经网络的正向传递过程变得十分平滑，从而有效解决深度神经网络中的梯度消失和梯度爆炸问题。OSVOS(One Shot Video Object Segmentation)算法作为一种经典的目标分割神经网络方法，将图像提取前景与轮廓的部分分流计算，与前景掩码重合度大于一定程度的轮廓区域作为最终的分割结果，使目标分割具有良好的鲁棒性。

随着对于单帧图像相关应用技术的日渐成熟，进一步的，对连续图像帧之间逻辑信息的理解，即对视频连续帧时间信息理解的研究需求也被提出。在对视频中的行人动作分类这一研究方向上，最主要的技术手段有两种，分别为利用光流信息的双流网络与3D卷积神经网络。双流网络将视频帧的RGB图像和光流图像分别作为输入数据，输入到两个网络来进行模型的训练，将彼此输出的判定信息融合计算，来得到最终的行人动作分类结果。3D卷积神经网络利用3维卷积核处理连续的多帧图像，保留了视频连续帧的时间信息，从而得到可靠地分类结果。但由于视频理解方向的发展时间并不算长，在实际应用场景下的准确度并不能让人满意。越来越多的学者认为现有的方法无法准确的提取视频连续帧的时间信息，从而导致模型的准确度不足以达到应用需求，需要对原始方法进一步改进。

发明内容

为了解决增加卷积神经网络可获取信息的种类，从而加大卷积神经网络对于视频数据的理解能力的问题，本发明提出如下技术方案：一种时间信息差异的度量算法，时间信息的最大均值差异为：

f(x)是第三原始视频图像集合，f(x^c)是第三卷积特征图集合，f是被映射的可再生核希尔伯特空间上的连续函数集，n是得到的视频帧图像总数；

其中：第二原始视频图像集合P’_n-1与第二卷积特征图集合Q'_n-1的集合内的所有数据进行空间映射计算并求平均，得到第三原始视频图像集合f(x)与第三卷积特征图集合f(x^c)；

其中：针对

第一原始视频图像集合：

P_n-1＝{[x₁,x₂],[x₂,x₃],[x₃,x₄]…[x_n-1,x_n]}

第一卷积特征图集合：