[发明专利]基于多模态的活体检测方法、装置、电子设备及存储介质

说明书

本发明涉及人工智能技术领域，提供一种基于多模态的活体检测方法、装置、电子设备及存储介质，所述方法包括：采集目标对象的RGB图像序列、IR图像序列和深度图像序列；对RGB图像序列进行预处理，得到目标RGB图像序列；对目标RGB图像序列、IR图像序列和深度图像序列中的每一帧图像进行配对，得到每一帧模态图像；提取每一帧RGB图像的光流特征图像；提取多模态特征集；将多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，得到检测结果。本发明在进行活体检测时，考虑了RGB图像的第一空间特征、IR图像的第二空间特征、深度图像的第三空间特征和光流特征图像的时序特征，提高了活体检测的准确率。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于多模态的活体检测方法、装置、电子设备及存储介质。

背景技术

人脸活体检测对于一些敏感度高，安全性要求高的项目，例如：人脸支付，身份核验等，是必不可少的一个环节。现有的活体检测方案中，多是基于单模态的活体检测方案，例如，RGB活体检测，IR活体检测等。

然而，在进行活体检测时，单模态的RGB活体受光线影响较大，在昏暗或者强光的情况下，由于成像不明显导致活体检测准确率低；单模态的IR活体对于高分辨率的屏幕，由于呈现出人脸的信息导致活体检测准确率低。

因此，有必要提出一种可以快速准确的进行活体检测的方法。

发明内容

鉴于以上内容，有必要提出一种基于多模态的活体检测方法、装置、电子设备及存储介质，在进行活体检测时，考虑了RGB图像的第一空间特征、IR图像的第二空间特征、深度图像的第三空间特征和光流特征图像的时序特征，提高了活体检测的准确率。

本发明的第一方面提供一种基于多模态的活体检测方法，所述方法包括：

采用预设的摄像设备采集目标对象的RGB图像序列、IR图像序列和深度图像序列，其中，所述RGB图像序列中包含有多帧RGB图像，IR图像序列中包含有多帧IR图像，深度图像序列中包含有多帧深度图像；

对所述RGB图像序列中每一帧RGB图像进行预处理，得到目标RGB图像序列；

按照图像采集的时间先后顺序对所述目标RGB图像序列、IR图像序列和深度图像序列中的每一帧图像进行配对，得到每一帧模态图像；

采用光流法提取所述RGB图像序列中每一帧RGB图像的光流特征图像；

将每一帧模态图像与对应帧的光流特征图像进行组合，得到每一帧目标图像，并提取所述每一帧目标图像中的多模态特征集；

将多帧多模态特征集输入至预先训练好的活体检测分类模型中进行活体检测，得到检测结果。

可选地，所述活体检测分类模型的训练过程包括：

获取第一样本集和第二样本集，其中，所述第一样本集中包含有预设第一数量的活体对象及每个活体对象对应的第一样本图像，所述第二样本集中包含有预设第二数量的非活体对象及每个非活体对象对应的第二样本图像，其中，所述预设第一数量和预设第二数量之间的差值小于预设的偏差阈值；

将所述第一样本集和所述第二样本集按照预设的划分规则划分出训练集和测试集；

将所述训练集输入预设神经网络中进行训练，得到活体检测分类模型；

将所述测试集输入至所述活体检测分类模型中进行测试，并计算测试通过率；

若所述测试通过率大于或者等于预设通过率阈值，确定所述活体检测分类模型训练结束；若所述测试通过率小于预设通过率阈值，增加训练集的数量，重新进行活体检测分类模型的训练。

可选地，所述将所述第一样本集和所述第二样本集按照预设的划分规则划分出训练集和测试集包括：