[发明专利]一种基于残差-胶囊网络的视频图像鉴别方法

说明书

本发明公开了一种基于残差‑胶囊网络的视频图像鉴别方法，属于计算机视觉图像处理领域的图像分类技术。该方法通过提取图像潜在特征的残差神经网络、编码局部和整个对象之间对应关系的胶囊网络和重建图像的解码器构建残差‑胶囊神经网络，主要解决卷积神经网络中过拟合问题,梯度消失的问题，同时通过胶囊网络的输出向量重建原始输入图像，根据重建与原始图像的匹配程度对模型进行鉴别分类，进一步提高伪造人脸图像、视频的检测性能。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于残差-胶囊网络的视频图像鉴别方法。

背景技术

残差神经网络(Residual Networks)容易优化且收敛速度快，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。

卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络在目标识别和分类任务中的成功应用而被计算机视觉应用界所青睐。CNN是由堆叠在一起的多个神经元组成的。在神经元之间计算卷积需要大量的计算，因此通常使用池化来减小网络层的大小。卷积方法可以通过简单的计算来学习数据的许多复杂特征。它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。应用领域有计算机视觉、自然语言处理等。

传统的卷积神经网络在提取重要特征方面检测性能很好，很难关注局部和整个对象之间的相对关系(如位置、比例、方向，大小，偏度)，从而丢失了一些重要的位置信息。如何正确的进行分类和保持部分与整体之间的对应关系，是解决图像分类问题中的关键问题。

胶囊神经网络(CapsNets)是一种全新的深度学习的体系结构，克服了CNN的缺点，是一种新的有前景的网络结构。胶囊代表图像中特定实体的各种特征，比如位置，大小，方向，速度，色调，纹理等等，作为一个单独逻辑单元存在，然后使用一个协议路由算法，当胶囊将自己学习到并预测到的数据传递给最高层次的胶囊时，如果预测一致，更高级别的胶囊就会变得活跃，这个过程被称为动态路由。随着路由机制的不断迭代，就能将各种胶囊训练成学习不同思维的逻辑单元，让神经网络识别面部，就将面孔的不同部分分别路由到能够理解眼睛，鼻子，嘴，耳朵的胶囊中去。与传统的神经网络相比，胶囊网络具有如下的特点。

基于深度学习的发展，存在被伪造合法用户的人脸攻击的风险。在深度学习的大势下，出现了一批高质量虚假图像视频生成技术。最近比较火的DeepFake技术、Face2Face技术、GAN以及变体技术等，这些技术的滥用在金融行业中引发安全隐患，所以对于伪造的图像视频的鉴别是金融反欺诈领域的关键环节。

数字媒体取证方法主要基于纹理，运动信息，多光谱特征。常见的伪造检测方法有分析GAN生成的图像与真实图像的差异；利用共现矩阵检测GAN生成图像；利用GAN生成的图像与真实图像在非RGB颜色空间中的颜色差异；基于视频中眨眼的检测，以这种生物信号来检测deepfake生成的假视频；通过扭曲面区域和周围环境的分辨率不一致留下的独特伪影检测伪造视频；利用头部姿态的不一致性来鉴伪；基于光流法的前后景相关性分析来辨别影像真伪，这种方法是基于皮肤和其他材料在光谱反射率上的差异来判定真假；基于扩散速度的局部模式，从视频中提取人脸区域的运动信息来判断真假人脸。这些检测方法在一定程度上说明纹理特性，运动信息，多光谱特征的重要性。缺点：纹理特征容易受到光照、图像分辨率等的影响。运动信息虽然应用广泛，但是容易受到攻击者对人脸照片的嘴部和眼部掏空后按照要求做相应的指令的低风险攻击。多光谱特征对采光的要求比较严格，呈现的多光谱图像所带来的用户体验较差，成本高于可见光系统。