[发明专利]一种搭建针对人耳识别的深度学习网络结构的方法及系统

说明书

本发明公开了一种搭建针对人耳识别的深度学习网络结构的方法及系统，方法包括：对现有的人耳图像数据集进行扩充，针对扩充后的数据集计算以热图形式呈现的人耳特征点标签；针对扩充后的数据集及所得到的热图标签搭建卷积神经网络；利用该网络结构进行训练、得到模型。系统包括：数据扩充单元，热图标签单元，回归热图单元。本发明能够通过对现有的数据集进行扩充，解决了深度学习对大量训练数据的需求，深度学习网络能够提取人耳特征点，输出人耳特征点的热图结果。本发明通过对现有的数据集进行扩充，解决了深度学习对大量训练数据的需求；基于搭建针对人耳识别的深度学习网络结构，能够提取人耳特征点，输出人耳特征点的热图结果。

技术领域

本发明属于计算机视觉及图形学技术领域，具体涉及一种搭建针对人耳识别的深度学习网络结构的方法及系统。

背景技术

在生物识别领域，由耳朵图像出发的自动身份识别代表了一个积极的研究领域，其可以作为自动识别系统中其他生物识别方式的补充，并在其他信息不可靠甚至不可用时提供身份提示。这项技术具有能够从远距离、以隐蔽的方式捕捉耳朵图像的能力，因此在监视和安全应用程序以及其他应用领域中成了一个有吸引力的选择。例如，在脸部识别技术可能与脸部侧面相矛盾的情况下，耳朵可以作为监视镜头中人的身份信息的来源。

近年来，这个领域已经做出了有意义的贡献，但仍然存在一些公开的研究问题，阻碍这项技术更广泛的(商业)部署，且现有的人耳识别技术并未达到良好的识别效果。另外，虽然基于神经网络的技术在计算机视觉和机器学习的其他领域正变得越来越流行，但是由于缺乏大规模的数据集，人耳识别尚未从这一领域的最新进展中受益。

发明内容

为解决上述问题，本发明公开了一种搭建针对人耳识别的深度学习网络结构的方法及系统，输出人耳特征点的热图结果，将网络的“思考过程”可视化。

为了达到上述目的，本发明提供如下技术方案：

一种搭建针对人耳识别的深度学习网络结构的方法，包括如下步骤:

步骤1，对现有的人耳图像数据集进行扩充；

步骤2，针对扩充后的人耳图像数据集计算以热图形式呈现的人耳特征点标签；

步骤3，针对扩充后的数据集搭建级联卷积神经网络，级联卷积神经网络学习步骤2得到的以热图形式呈现的人耳特征点标签；

步骤4，利用该网络结构进行训练、得到模型，从而实现通过深度学习网络提取人耳特征点，输出人耳特征点。

进一步的，所述步骤1中从人耳角度和人耳形状两方面对数据集进行扩充。

具体的，从人耳角度对数据集进行扩充具体包括以下过程：首先提取人耳特征点，然后将这些特征点和3D人耳模型建立对应关系，以此可以得到相机外参数，接着可以得到相机矩阵，从中提取出旋转矩阵，通过改变旋转矩阵，能够得到新的角度旋转矩阵，给定一副图像，可以合成不同角度的人耳图像。

具体的，从人耳形状对数据集进行扩充具体包括如下过程：首先通过3D人耳模型数据集获取多种高质量3D人耳扫描数据，接着将图像数据与不同3D人耳形状数据结合，生成同一个人不同耳朵形状的图像。

进一步的，所述步骤2中的人耳特征点标签是分别针对人耳图像中的每个特征点位置的热图。

进一步的，所述步骤3中级联卷积神经网络包括如下几层：

(1)输入层：用于接受图片输入；

(2)人耳轮廓框估计层：利用CNN检测出一个能够包含6个人耳轮廓点的矩形框，将框出的图片传入下一级CNN中；

(3)人耳轮廓点检测层：与人耳轮廓框估计层相连，根据矩形框检测其中6个轮廓点并将结果输出；