[发明专利]基于核稀疏典型相关分析热红外人脸图像可见光重建方法

说明书

本发明提出了一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其步骤如下：利用热像仪和光学相机同时采集若干个训练样本，建立数据集；对数据集全局训练，利用全局训练得到的数据对热红外测试图像全局重建得到重建的全局可见光谱图像，对数据集局部细化训练，热红外测试图像的局部细化的重建得到重建的可见光谱残差图像块，利用可见光谱残差图像块重叠像素的平均值和重建的全局可见光谱图像相加得到可见光谱人脸重建图像。本发明获得了热红外光谱和可见光谱两组数据的最佳投影方向，提升了特征的可分离性，剔除了冗余信息，获取了最佳的识别效果，解决了弱光环境下的人脸识别难题，充分利用现有的可见光数据库进行人脸匹配。

技术领域

本发明涉及弱光环境下目标人脸身份认证的技术领域，尤其涉及一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法。

背景技术

当前公安司法系统或其他身份认证系统存储的人脸样本均为可见光图像，而在夜间或光线不足的场所，常规监控系统很难获取有效的可见光图像，从而导致了违法犯罪案件关键证据的取证困难。热像仪在热红外光谱中运行，通过捕捉红外辐射成像，不依赖于照明，取决于物体的温度变化。热红外光谱人脸图像的辨别特征是由人的脸部肌肉组织和血管分布等固有因素所决定，具有较强的鲁棒性，不受环境光照等因素的影响。

通过将热像仪采集的热红外光谱人脸图像映射到可见光谱空间，再将重建的可见光人脸图像与现有的大量可见光人脸数据库进行匹配识别，解决了弱光环境下公安司法机关案件取证、罪犯追逃和公共安全管理部门身份认证的难题，将具有极大的应用前景。

发明内容

针对现有可见光人脸识别技术无法应对弱光环境的技术问题，本发明提出一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法，解决了目前低照度下获取的可见光人脸图像无法与现有可见光数据库匹配的问题。

为了达到上述目的，本发明的技术方案是这样实现的：一种基于核稀疏典型相关分析热红外人脸图像可见光重建方法，其步骤如下：

步骤一：利用热像仪和光学相机同时采集若干个训练样本的热光谱人脸图像和可见光谱人脸图像，建立数据集；

步骤二：对数据集全局训练：应用主分量分析分别对热光谱图像和可见光谱图像处理获得热光谱特征投影矩阵和可见光谱特征投影矩阵，将热光谱人脸图像和可见光谱人脸图像分别转化为特征空间中的热光谱训练数据和可见光谱训练数据，利用核稀疏典型相关分析将热光谱训练数据和可见光谱训练数据投影到相关空间，得到热光谱相关空间投影矩阵和可见光谱相关空间投影矩阵；

步骤三：热红外测试图像的全局重建：将热光谱测试样本图像利用步骤二得到热光谱特征投影矩阵由图像空间投影到特征空间、利用热光谱相关空间投影矩阵由特征空间投影到相关空间，应用局部线性嵌入估计重建可见光谱数据，利用可见光谱相关空间投影矩阵和可见光谱特征投影矩阵将可见光谱数据投影到图像空间，获得重建的全局可见光谱图像；

步骤四：对数据集局部细化训练：利用滑动窗口分别检索重建的全局可见光谱图像、热光谱人脸图像和可见光谱人脸图像中的图像块，计算重建的全局可见光谱图像分别与热光谱人脸图像和可见光谱人脸图像的残差向量，利用核稀疏典型相关分析将残差向量投影到相关空间，获取热光谱图像块相关空间投影矩阵和可见光谱图像块相关空间投影矩阵及相关空间热光谱训练残差图像块和相关空间可见光谱训练残差图像块；

步骤五：局部细化的重建：将重建的全局可见光谱图像和热光谱测试样本图像进行残差计算获得热光谱残差图像，利用热光谱图像块相关空间投影矩阵将热光谱残差图像的图像块投影到相关空间，应用局部线性嵌入估计重建可见光谱残差图像块、并利用可见光谱图像块相关空间投影矩阵投影到图像空间得到重建的可见光谱残差图像块；

步骤六：利用可见光谱残差图像块的重叠像素的平均值和重建的全局可见光谱图像相加得到可见光谱人脸重建图像。

对数据集全局训练的方法的步骤为：