[发明专利]用于捕捉眼球活动特征的方法、终端设备

说明书

本公开的实施例公开了用于捕捉眼球活动特征的方法、终端设备。该方法的一具体实施方式包括：获取表演者的面部数据；生成深度图像对应于预先确定的人脸检测模型的面部关键区域的各个特征点的特征点坐标集合；生成深度图像的关键参数；生成深度图像的眼球活动特征。这种方法利用深度图像，能够直接获取表演者面部的三维特征，同时，利用预先确定的人脸检测模型确定表演者的面部数据中每个深度图像的面部关键区域的各个特征点的特征点坐标集合，基于特征点坐标集合，确定深度图像的关键参数，基于深度图像的关键参数，方便用户捕捉有效的眼球活动特征。

技术领域

本公开实施例涉及运动捕捉和数据表示领域，具体涉及一种眼球活动特征捕获和预处理作用的组合方法、电子设备。

背景技术

随着运动捕捉技术的快速发展，运动捕捉系统在影视、动画制作上被广泛应用。目前，大多数运动捕捉系统通过跟踪粘帖在表演者面部标识点的方式对面部表情进行捕捉，这种捕捉方式对表情具有较大的束缚性，标识点极易脱落，降低了表演者对模型表情的精细化控制，此外，这种捕捉方式依赖于专业的设备来完成，技术复杂度高、成本高。因此，在无任何辅助标识点的条件下，利用运动捕捉技术实现对面部表情的定位以及捕获面部表情特征，已经成为运动捕捉技术中的热点问题。眼睛是用于表征面部表情的重要器官，闭眼后捕捉眼睛特征的技术复杂度高、准确度差。

发明内容

本公开实施例提出了一种用于捕捉眼球活动特征的方法。

第一方面，本公开实施例提供了一种用于捕捉眼球活动特征的方法，该方法包括：获取表演者的面部数据，其中，面部数据包括深度图像；生成深度图像对应于预先确定的人脸检测模型的面部关键区域的各个特征点的特征点坐标集合；基于深度图像的面部关键区域的特征点坐标集合，生成深度图像的关键参数；基于深度图像的关键参数，生成深度图像的眼球活动特征。

在一些实施例中，获取表演者的面部数据，包括：启动深度摄像机；接收深度摄像机返回的视频数据，其中，视频数据包括第一数目帧图像；将视频数据转化为深度图像序列，其中，深度图像序列包括第一数目个深度图像；将深度图像序列保存为面部数据。

在一些实施例中，该方法还包括：基于人脸检测模型，生成面部关键区域的各个特征点的特征点初始坐标集合，其中，面部关键区域包括左眼部区域、右眼部区域、左眉部区域、右眉部区域、口部区域、鼻部区域。

在一些实施例中，生成深度图像对应于预先确定的人脸检测模型的面部关键区域的各个特征点的特征点坐标集合，包括：基于人脸检测模型，生成深度图像的面部关键区域的各个特征点的特征点集合；生成深度图像的脸部及五官轮廓；对脸部及五官轮廓进行对齐归一化处理；对于特征点集合中的每个特征点，沿脸部及五官轮廓的法线方向扩展以及完成灰度匹配，更新特征点集合；确定特征点集合中每个特征点的坐标。

在一些实施例中，基于深度图像的面部关键区域的特征点坐标集合，生成深度图像的关键参数，包括：基于深度图像的面部关键区域的特征点坐标集合，确定每个特征点的主关键点和次关键点，得到主关键点集合和次关键点集合；将所得到的主关键点集合和所述次关键点集合，确定为深度图像的关键参数。

在一些实施例中，该用于捕捉眼球活动特征的方法还包括：生成每个特征点与每个特征点的主关键点和次关键点的对应关系表。

在一些实施例中，基于深度图像的关键参数，生成深度图像的眼球活动特征，包括：将面部关键区域的特征点初始坐标集合与深度图像的关键参数进行匹配，生成面部关键区域的特征点集合的坐标差值集合，其中，利用深度图像的关键参数中对应于第n个特征点的关键参数的坐标P(n)和面部关键区域的特征点初始坐标集合中的第n个特征点的初始坐标P_ori(n)，得到第n个特征点的坐标差值为D(n)＝P(n)-P_ori(n)；将深度图像的面部关键区域的所有特征点的坐标差值与对应的权重系数相乘后，对加权结果求和，得到深度图像的眼球活动特征。