[发明专利]一种时空特征融合与样本注意增强的人脸识别方法及系统

说明书

本发明公开了一种基于时空特征融合与样本注意增强的人脸识别方法及系统，通过人脸检测得到视频中特定目标人脸序列并对其进行评分；使用时间序列处理算法ConvGRU对人脸序列进行时间特征提取；从人脸序列中选出分数最高的图像作为关键帧；送入到Resnet50网络中提取出三种不同深度的特征图，使用空间特征融合算法ASFF计算得到空间特征；最后，将上述得到的时间特征和空间特征在通道维度上拼接后送入全局平均池化层和全连接层，使用提出的ADAM‑Softmax损失函数对模型进行训练；由于ADAM‑Softmax损失函数能够自适应增强对类内差异性较大样本的注意，从而使得模型在快速收敛同时也能达到较高识别准确率。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于时空特征融合与样本注意增强的人脸识别方法及系统。

背景技术

近年来，借助深度学习技术的飞速发展，基于静态图像的人脸识别技术取得了长足的进步。这得益于不断更新换代的先进神经网络架构和科研工作者在特征提取理论上的坚持不懈的付出。基于静态图像的人脸识别技术的进步也推动着相关的应用产品的成功落地，依托CNN网络的强大的特征提取能力和轻量化神经网络的实时性能，人脸识别已经在校园安全、生活服务等领域取得了较为不错的成果。

但是，基于静态图像的人脸识别技术的缺点也很明显，类似于分布式网络通信中的单点故障问题，基于静态图像的人脸识别算法性能非常的依赖于输入图像的质量。快速、准确的识别要求输入图像清晰、光照均匀、人的姿态不能有大幅度的偏转、人脸的关键部位不能有遮挡物等等。但是在实际的应用中，尤其是视频监控场景中，被识别的对象或者目标通常是无感知的，而且出现在视频中的时间和空间都有一定的随机性。无法保障捕获的图像完全符合基于静态图像的人脸识别的技术要求。因此，将静态人脸识别技术直接应用到视频监控场景中势必会导致识别准确率的降低，给应用落地带来了一定的挑战。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供基于时空特征融合与样本注意增强的人脸识别方法及系统，通过引入时间序列处理算法ConvGRU和空间特征融合算法ASFF算法来得到鲁棒的时空特征，使得算法在图像质量不佳时也可达到准确进行人脸识别的目的，解决现有的人脸识别方法完全依赖于静态图像的质量的问题。

本发明采用以下技术方案：

一种基于时空特征融合与样本注意增强的人脸识别方法，包括以下步骤：

S1、对输入的视频进行人脸检测，得到特定目标类别的人脸边界框B；

S2、使用步骤S1得到的人脸边界框B从视频中提取人脸序列F，并对人脸序列F进行质量评价得到对应的人脸质量分数S；

S3、使用ConvGRU算法对步骤S2中得到的人脸序列F进行时间维度的特征提取，得到时间维度特征F^T；

S4、根据步骤S2中的人脸质量分数S，选出人脸质量分数最高的人脸f_k作为关键帧；调整尺寸后送入到Resnet50网络中提取特征图；

S5、构造空间特征融合网络ASFF，对步骤S4中得到的特征图进行加权融合操作，得到空间维度特征F^S；

S6、将步骤S3得到的时间维度特征F^T和步骤S5中得到的空间维度特征F^S进行通道间的拼接，进行融合操后得到鲁棒的时空特征；

S7、在训练阶段，使用ADAM-Softmax损失函数对ConvGRU算法、空间特征融合网络ASFF和Resnet50网络构成的人脸识别模型进行调整；在测试阶段，使用步骤S6中得到的鲁棒时空特征进行人脸识别操作。

具体的，步骤S2中，使用评价网络Q得到人脸质量评价分数具体为：