[发明专利]面部动作单元数据集的构建方法、装置和计算机设备有效
申请号: | 202010582607.0 | 申请日: | 2020-06-23 |
公开(公告)号: | CN111738157B | 公开(公告)日: | 2023-07-21 |
发明(设计)人: | 罗琳耀;徐国强 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06V10/774 | 分类号: | G06V10/774;G06V40/16;G06V10/82;G06N3/0464;G06N3/084;G06F16/583 |
代理公司: | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人: | 王杰辉 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 面部 动作 单元 数据 构建 方法 装置 计算机 设备 | ||
本发明提出的面部动作单元数据集的构建方法、装置、计算机设备和存储介质,其中方法包括:获取人脸图片,将人脸图片生成多个三元组;对三元组中的人脸图片预处理后输入网络模型,得到对应各三元组的特征向量,将特征向量计算得到损失值,通过网络反向传播计算参数梯度,更新模型参数直到模型收敛得到检索模型;获取多种不同面部动作类别的类别图片,将各类别图片输入搜索模型,通过搜索模型算出各类别人脸特征,及其与指定数据库中人脸特征的欧式距离,依据各欧式距离获取预设数量的人脸图片,形成图片集;将各图片集进行标注并生成面部动作单元数据集,通过检索模型可快速获取大量的不同类别人脸图片,丰富数据集的样本种类和数量。
技术领域
本发明涉及到数据处理的技术领域,特别是涉及到一种面部动作单元数据集的构建方法、装置、计算机设备和存储介质。
背景技术
人脸表情可以被看作是由面部表情编码系统(FACS)定义的不同面部动作单元(Action Unit,简称AU)的组合,随着人工智能技术的发展,基于计算机视觉的AU识别技术也逐渐成熟,但目前国内外最前沿的AU识别技术,一般都只能识别常见的10种左右的AU类别,而AU识别模型构建的瓶颈很多时候在于大规模数据集的构建。
目前市面上公开的AU数据集(如BP4D、DISFA、MMI等等),仅标注了10种左右的AU类别,并且都是在特定实验场景中采集的,这样条件下构建的数据集会出现以下缺陷:1、采集的AU类别有限,在特定环境下,被采集者能表现的面部动作有限,情绪起伏程度较低,即使通过人为引导被采集者,也难以在短时间内采集到各种类别的AU;2、采集的人数有限,对于构建样本数上万级别的数据集,难以收集到大量不同性别、年龄段以及肤色的人脸样本,导致数据集中大量的重复人脸,会极大地影响模型对于不同人脸的泛化性;3、采集的场景单一,采集时一般会在一个固定的室内场景,这也会在一定程度上影响模型对于不同场景的泛化性。
由于上述缺陷,导致现有AU数据集通常只有常见的十几种AU类别,而非常见AU类别(如上嘴唇上提、嘴角向下倾斜、下巴上提等等)数量却极少,导致了AU识别模型对于非常见AU的识别准确率较低,且这样的采集成本较高,虽然还有通过爬虫在网络上获得大量的人脸图片这种采集方式,但仍然未解决稀缺AU类别的数量较少的问题。
发明内容
本发明的主要目的为提供一种面部动作单元数据集的构建方法、装置、计算机设备和存储介质,旨在解决现有技术中难以大规模采集稀缺AU类别,造成数据集数量种类过少的技术问题。
基于上述发明目的,本发明提出一种面部动作单元数据集的构建方法,包括:
获取预设样本库中的人脸图片;
将所述人脸图片生成多个强关系三元组以及弱关系三元组,每一所述强关系三元组以及弱关系三元组均分别包括第一图片、第二图片以及第三图片,其中,所述强关系三元组中的第一图片与第二图片的人脸表情相似度比所述第一图片与第三图片的面部动作相似度以及第二图片与第三图片的面部动作相似度要大;
对所述强关系三元组以及弱关系三元组中所有的人脸图片进行预处理;
将所述预处理过后的所述强关系三元组或弱关系三元组按预设方式输入预设的网络模型,得到对应所述强关系三元组以及弱关系三元组的特征向量;
将所述特征向量通过预设的损失函数计算得到损失值,并通过网络反向传播计算参数梯度,以更新所述网络模型的模型参数直到所述网络模型收敛,得到用于获取面部动作相似图片的检索模型;
获取多种不同面部动作类别的类别图片,并依次将各所述类别图片输入所述搜索模型;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010582607.0/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置