[发明专利]图像数据处理系统与方法

权利要求书

1.一种从被摄体的图像数据中识别人体特征的方法，所述方法包括：

从图像数据中提取被摄体的图像序列；

从每个图像中估计对象的情感特征度量和面部中层特征度量；

对于每个图像，结合相关的估计情绪度量和估计面部中层特征度量以形成特征向量，从而形成特征向量序列，每个特征向量与图像序列的图像相关联；以及

将特征向量序列输入到人类特征识别神经网络，其中

所述人类特征识别神经网络适于处理特征向量序列并生成与从特征向量序列导出的至少一个人类特征相对应的输出数据。

2.根据任何先前权利要求所述的方法，其中所述图像数据是视频数据。

3.根据权利要求1或2所述的方法，其中所提取的图像序列是被摄体的面部图像。

4.根据权利要求3所述的一种方法，其中所述被摄体的面部为人脸。

5.根据权利要求4所述的方法，其中所述情绪度量通过训练用于从人脸图像中识别多个预定情绪的情绪识别神经网络来估计。

6.根据权利要求5所述的一种方法，其中所述情绪度量与一种或多种愤怒、蔑视、厌恶、恐惧、快乐、悲伤和惊讶的人类情绪相关联。

7.根据权利要求5或6所述的方法，包括通过情感识别神经网络输出n维向量，其中每个向量分量对应于预定情绪中的一种，向量的每个分量的大小对应于情绪识别神经网络识别该情绪的置信度。

8.根据权利要求7所述的方法，包括生成对应于与情感相关联的n维向量的进一步输出数据。

9.根据任何先前权利要求所述的方法，其中基于图像识别算法估计人脸的面部中层特征度量。

10.根据权利要求9所述的方法，其中面部中层特征度量是凝视、头部位置和眼睛闭合的一个或多个。

11.根据任何先前权利要求所述的方法，其中，从分类为包含与多个预定人类特征中的一个或多个相关联的人脸的视频数据中训练人类特征识别神经网络。

12.根据任何先前权利要求所述的方法，其中人类特征识别神经网络是递归神经网络。

13.根据权利要求12所述的方法，其中所述人的特征识别神经网络是一种长短期记忆网络。

14.根据权利要求1至11中任一权利要求所述的方法，其中，人类特征识别神经网络是卷积神经网络。

15.根据权利要求14所述的方法，其中，人的特征识别神经网络是基于波网络的神经网络。

16.根据任何先前权利要求所述的方法，其中所述人类特征识别神经网络的输出数据包括n维向量，其中所述向量的每个分量对应于人类特征，以及向量的每个分量的大小对应于被检测特征的强度。

17.根据任何先前权利要求所述的方法，其中所述多个预定特征包括一个或多个特征，具体如激情、自信、诚实、紧张、好奇、判断和分歧。