[发明专利]一种基于SSF-IL-CNN的三维人脸表情识别方法

说明书

本发明公开了一种基于SSF‑IL‑CNN的三维人脸表情识别方法，该方法首先对卷积神经网络结构进行改进，将卷积核拆解成结构参数与强度参数，并让两种参数分别承担初始化和更新的任务，使得原本需要借助大量样本进行训练的卷积神经网络，能够应用于样本规模较小的三维人脸表情库。同时，本方法提出采用Island Loss函数构建卷积神经网络中的损失函数，加强网络对人脸表情的敏感性与区分度，提升表情识别的效果。

技术领域

本发明涉及一种基于SSF-IL-CNN的三维人脸表情识别方法，属于计算机视觉中三维图像识别的领域。

背景技术

三维人脸表情识别技术指的是基于人脸的三维数据，计算机实现对人脸表情识别的技术。这项技术在人机交互和心理学研究等领域具有巨大的应用潜力。与二维数据相比，人脸的三维数据不受光线、姿态、角度等因素的影响，同时包含更丰富的几何信息和拓扑特征，因此基于三维人脸数据的表情识别研究近年来获得了更广泛的关注。面对复杂多样的应用场景，针对三维人脸表情识别任务生成特定的特征将变得更加困难，不仅耗费人力，效果还易受到特征性能的制约，此时，考虑采用卷积神经网络搭建三维人脸表情识别算法，可能突破构造特征性能的“天花板”，获得满意的效果。借助卷积层、池化层、激活函数、全链接层和目标函数等基本构件的有机组合，卷积神经网络能够实现自动的特征学习，实现从原始数据到高层语义的“端到端”映射，大幅提升了识别性能。

实现卷积神经网络在三维人脸表情识别的应用，需要解决两大技术难点。第一，改进卷积核的初始化方法。目前大部分学者选择采用预训练卷积核作为初始值、再进行微调的方法。然而由于二次训练集(即三维人脸表情数据库)样本数量较少，易导致参数训练不够充分，发生过拟合现象，进而识别性能大打折扣。同时，由于二次训练集和原始数据库在内容上有较大差异，因此二次训练的过程可能会非常复杂，例如需要根据模型的层深对不同的网络层设置不同的学习率，或是需要借助多目标学习框架进行参数微调。此外，二次训练过程一般需要重新调整所有卷积核参数，工作量较大，时间成本较高。因此，微调卷积核的方法存在多重弊端。为了从根本上解决三维人脸表情识别问题，需要改进卷积核初始化的方法。第二，卷积神经网络的损失函数对表情变化的敏感性有待增强。损失函数是识别任务中的“指挥官”，通过误差反馈实现对参数更新过程的干预，因此损失函数的性能对整个网络的识别效果有重要的影响。然而，由于人脸表情的变化不显著，并且存在较多的干扰信息，因此需要针对表情识别任务，改进网络的损失函数。

发明内容

为了实现计算机对三维人脸表情的特征提取，提升识别结果并降低人工工作量，本发明提供了一种基于SSF-IL-CNN的三维人脸表情识别方法。该方法首先对卷积神经网络结构进行改进，将卷积核拆解成结构参数与强度参数，并让两种参数分别承担初始化和更新的任务，使得原本需要借助大量样本进行训练的卷积神经网络，能够应用于样本规模较小的三维人脸表情库。同时，本方法提出采用Island Loss函数构建卷积神经网络中的损失函数，加强网络对人脸表情的敏感性与区分度，提升表情识别的效果。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于SSF-IL-CNN的三维人脸表情识别方法，所述SSF-IL-CNN包括卷积层、池化层、激活函数、全链接层和损失函数，该识别方法包括以下步骤：

步骤1，生成三维人脸对应的深度图像和纹理图像；

步骤2，分别对步骤1中的深度图像和纹理图像进行归一化处理；

步骤3，基于归一化后的深度图像和纹理图像，进行字典学习，得到字典矩阵和稀疏表示；

步骤4，采用字典矩阵初始化卷积核的结构参数；

步骤5，搭建SSF-IL-CNN的损失函数；

步骤6，更新卷积核强度参数，完成SSF-IL-CNN模型的训练；