[发明专利]人脸关键点处理方法、系统、终端及存储介质

说明书

本发明实施例涉及数字图像处理，特别涉及人脸关键点处理方法、系统、终端及存储介质。人脸关键点处理方法，包括：预测当前帧中人脸关键点位置数据；计算人脸关键点位置数据的偏移量；根据人脸关键点位置数据的偏移量，计算当前帧和上一帧中人脸关键点位置数据的加权系数；根据当前帧和上一帧中的加权系数和人脸关键点位置数据，得到当前帧中降噪后的人脸关键点位置数据。本发明实施例中，在不增加样本不升级算法的情况下，采用人脸关键点位置数据加权运算，实现抑制人脸关键点位置的抖动的目的。

技术领域

本发明实施例涉及数字图像处理，特别涉及人脸关键点处理方法、系统、终端及存储介质。

背景技术

人脸关键点处理技术目前在移动端美颜/美妆类、2D/3D人脸贴纸类应用中被广泛使用，随着近几年深度学习取得的显著性成果，卷积神经网络(Convolutional NeuralNetworks，CNN)已成为人脸关键点处理技术主要技术手段，然而在网络训练时，由于采用的是一些离散的静态标注样本，样本规模及多样性限制等因素影响，在视频流中任务中，容易出现人脸点位预测结果有轻微的视觉抖动。

现有技术属于从算法模型层面去克服问题，一方面标注一些连续视频帧样本，增加样本规模并重新训练网络，另一方面采用一些泛化性更好的网络或进行超参数调整；其中，前者需要时间及人力成本来增加样本来训练网络，后者的网络升级和超参调整需要反复进行实验和验证，也需要增加时间和人力投入。

发明内容

本发明实施方式的目的在于提供一种人脸关键点处理方法、系统及存储介质，使得在不增加训练样本或升级算法的前提下，实现抑制人脸关键点抖动。

为解决上述技术问题，本发明的实施方式提供了一种人脸关键点处理方法，包括以下步骤：

预测当前帧中人脸关键点位置数据；

根据当前帧中人脸关键点位置数据和上一帧中降噪后的人脸关键点位置数据，计算当前帧相对于上一帧的人脸关键点位置数据的偏移量；

根据人脸关键点位置数据的偏移量，计算当前帧中人脸关键点位置数据的加权系数和上一帧中降噪后的人脸关键点位置数据的加权系数；

根据当前帧中人脸关键点位置数据的加权系数和上一帧中降噪后的人脸关键点位置数据的加权系数，对当前帧中人脸关键点位置数据和上一帧中降噪后的人脸关键点位置数据进行加权融合，得到当前帧中降噪后的人脸关键点位置数据。

本发明的实施方式还提供了一种人脸关键点处理系统，包括：

数据预测模块：预测当前帧中人脸关键点位置数据；

偏移获取模块：根据当前帧中人脸关键点位置数据和上一帧中降噪后的人脸关键点位置数据，计算当前帧相对于上一帧的人脸关键点位置数据的偏移量；

系数计算模块：根据人脸关键点位置数据的偏移量，计算当前帧中人脸关键点位置数据的加权系数和上一帧中降噪后的人脸关键点位置数据的加权系数；

加权更新模块：根据当前帧中人脸关键点位置数据的加权系数和上一帧中降噪后的人脸关键点位置数据的加权系数，对当前帧中人脸关键点位置数据和上一帧中降噪后的人脸关键点位置数据进行加权融合，得到当前帧中降噪后的人脸关键点位置数据。

本发明的实施方式还提供了一种终端，其特征在于，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的人脸关键点处理方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述的人脸关键点处理方法。