[发明专利]一种基于光流的微表情检测方法在审

专利信息
申请号: 202010252013.3 申请日: 2020-04-01
公开(公告)号: CN111461021A 公开(公告)日: 2020-07-28
发明(设计)人: 王甦菁;张力为;谢海永 申请(专利权)人: 中国科学院心理研究所;中国电子科技集团公司电子科学研究院
主分类号: G06K9/00 分类号: G06K9/00;G06K9/32
代理公司: 北京东方芊悦知识产权代理事务所(普通合伙) 11591 代理人: 彭秀丽
地址: 100101 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 表情 检测 方法
【权利要求书】:

1.一种基于光流的微表情检测方法,其特征在于,采用开源工具包dlib对视频样本中的每一帧图片进行人脸识别,并对人脸区域标记出感兴趣区域ROI及不易形变区域ROI‘;计算视频样本中相邻两帧的稠密光流,提取感兴趣区域ROI内的光流及不易形变区域ROI‘的光流,对二者做减法处理以去除头部晃动的影响;划定极坐标下的角度区域,在所划定的极坐标角度区域内分别计算视频样本中的每帧图片感兴趣区域ROI的主光流,并将视频样本中所有帧的主光流轨迹顺次由幅值和角度表示出来;根据幅值和角度轨迹捕捉视频样本中的微表情发生帧,并作出微表情标注。

2.根据权利要求1所述的基于光流的微表情检测方法,其特征在于,在人脸区域标记出感兴趣区域ROI为双眉区域、嘴唇四周区域和鼻尖区域。

3.根据权利要求2所述的基于光流的微表情检测方法,其特征在于,沿每条眉毛分别标记三个特征点,在上嘴唇和下嘴唇的中部各标记一个特征点,在两嘴角位置分别标记一个特征点,在鼻尖位置标记一个特征点。

4.根据权利要求1所述的基于光流的微表情检测方法,其特征在于,在鼻梁的上部区域标记一个特征点作为不易形变区域ROI‘。

5.根据权利要求1所述的基于光流的微表情检测方法,其特征在于,所划定的极坐标角度区域的方法是,在极坐标平面区共划分至少四个对称区域,分别为左右两个扇形区域和上下两个扇形区域,且左右两个扇形区域所呈圆心角为40~80°。

6.根据权利要求5所述的基于光流的微表情检测方法,其特征在于,计算视频样本中每帧图片感兴趣区域ROI的主光流幅值和角度的具体方法是,分别统计落入到所划分的四个角度区域内的光流的幅值之和,选出具有最大幅值的区域,计算落入到这个最大幅值区域的主光流,在极坐标系中表示出主光流轨迹的幅值和角度。

7.根据权利要求6所述的基于光流的微表情检测方法,其特征在于,根据幅值和角度轨迹捕捉视频样本中的微表情发生帧,并作出标注,其具体方法是:在视频样本中选取感兴趣区域ROI中的主光流幅值轨迹的最大值max;设定幅度阈值C*max(其中C<1)并提取感兴趣区域ROI中的主光流幅值大于所设定幅度阈值的特征点轨迹,提取感兴趣区域ROI中特征点的完整波峰;针对所提取的波峰中的帧,根据特征点主光流的角度变化轨迹对发生微表情的帧作出标注。

8.根据权利要求7所述的基于光流的微表情检测方法,其特征在于,针对所提取的波峰中的帧,根据特征点主光流的角度变化轨迹对发生微表情的帧作出标注,具体方法是,统计角度为正的帧数和角度为负的帧数;将二者做减法处理,若所得差的绝对值小于所设定的角度阈值时,则对波峰中的帧作出微表情标注,计算公式:

式中:

表示第r个ROI内的主光流角度为正的帧数和角度为负的帧数的差值;

fir表示第r个ROI内的第i帧;

Bcrest表示符合幅度模式的帧的集合;

表示第r个ROI内符合幅度模式帧的主光流角度。

9.根据权利要求8所述的基于光流的微表情检测方法,其特征在于,所述的C值取值为0.5~0.8,所述的角度阈值为(0-1/2)*fps。

10.根据权利要求1所述的基于光流的微表情检测方法,其特征在于,在提取感兴趣区域ROI中的主光流幅值的过程中,若捕捉到的相邻微表情连续帧小于fps/10时,采用融合操作将间隔小于所设定间隔标注片段进行合并处理。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院心理研究所;中国电子科技集团公司电子科学研究院,未经中国科学院心理研究所;中国电子科技集团公司电子科学研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010252013.3/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top