[发明专利]基于多光谱融合的性别识别方法、系统、存储介质及终端

说明书

本发明属于数字图像处理和模式识别技术领域，公开了一种基于多光谱融合的性别识别方法、系统、存储介质及终端，采用多个波段的摄像头采集人脸图像并做图像预处理；卷积神经网络模块用于后续人脸图像特征学习；分别对可见光和各子波段红外线进行预训练，得到各自的预训练模型参数；将可见光和各子波段红外线对应的网络模块进行并联，并在网络末端增加一个多光谱特征融合层；在并联融合式神经网络后面添加全连接层进行识别分类，并用多光谱数据进行重新训练以得到最终性别识别结果。本发明在实现时的具体融合子波段可从可见光、近红外、短波红外、中波红外与长波红外等五个子波段中任选与组合；具有高精度的特点以及较强的鲁棒性。

技术领域

本发明属于数字图像处理和模式识别技术领域，尤其涉及一种基于多光谱融合的性别识别方法、系统、存储介质及终端。

背景技术

目前，当今世界已全面进入信息化时代，现代社会里的性别信息则是一个不容忽视的重要人口属性。近年来，由于人口属性的性别信息被广泛地应用在人员监控、人口研究、内容索引、投放目标广告等领域，使用计算机视觉技术来识别性别属性的研究已经获得了极大的关注度。

传统性别识别方法多以各类手动设计的特征提取算子与分类器为基础，该类方法设计复杂，精度不高，鲁棒性差，难以对复杂环境下的目标进行准确的性别识别判断，因此传统方法越来越难以满足当下的性别识别需求。而随着卷积神经网络的飞速发展，它已经在计算机视觉领域取得了巨大的成功，逐渐成为了解决各类计算机视觉任务的主流方法之一。相较于传统方法，一方面，卷积神经网络关于输入图像特征提取的精确程度可以通过改变网络深度，调整网络宽度进行调节；另一方面，扩大网络的数据输入，利用现在大数据的优点，将会有效提高判断识别的效果。另一方面，目前性别识别技术大多采用可见光成像手段，该类技术局限于白天光线充足的良好条件下，在光线不足和恶劣气候等环境下通常表现不佳，难以满足现实世界中各种复杂环境。因此，将红外线成像手段与可见光成像手段结合起来可以形成高精度和鲁棒性强的巨大优势。首先，引入红外线成像手段具有背景光线要求低、雨天雾天等气候下成像等等优势，弥补了可见光成像在诸多恶劣环境下的不足；其次，将可见光与红外线等多个波段结合起来的多光谱性别识别思路，可避免人脸特征提取时有用面部信息的利用受到限制。多光谱特征融合技术可充分利用红外图像中的热辐射信息或皮肤反射属性与可见光图像中的详细纹理信息，得到更高性别识别精度与更强鲁棒性，从而满足现实世界中各种复杂环境下的性别识别需求。

通过上述分析，现有技术存在的问题及缺陷为：

(1)传统性别识别方法多以各类手动设计的特征提取算子与分类器为基础，该类方法设计复杂，精度不高，鲁棒性差，难以对复杂环境下的目标进行准确的性别识别判断，越来越难以满足当下的性别识别需求。

(2)目前性别识别技术大多采用可见光成像手段，该类技术局限于白天光线充足的良好条件下，在光线不足和恶劣气候等环境下通常表现不佳，难以满足现实世界中各种复杂环境。

为了解决上诉问题及缺陷，其难度在于：

(1)需要摒弃传统性别识别技术普遍采用手动设计算子的做法，提出新的基于深度学习的性别识别方法，自主设计基于卷积神经网络的性别识别算法。而新自主设计的卷积神经网络必须具备精度高和鲁棒性强的特性，其性能需要进行大量的实验验证。

(2)为了弥补现有基于可见光成像的性别识别技术的缺陷，需要引入包含红外线各波段的多光谱成像手段。而多光谱成像用于性别识别的可行性尚属未知，需要进行实验验证。此外，多光谱摄像头采集的多光谱人脸数据往往无法直接使用，需要做必要的预处理和图像增强等，这也是基于多光谱性别识别的难点之一。

(3)为了体现多光谱性别识别优于单纯可见光的优势，需要设计基于深度学习的且可同时输入多个光谱图像的新型融合式网络。怎样设计包含特征融合层的卷积神经网络结构、从而实现多光谱特征融合是一个十分挑战的任务，目前业内对于该问题的研究尚且少见。

解决以上问题及缺陷，其意义在于：