[发明专利]图像数据处理系统与方法

说明书

从被摄体的图像数据中识别人类特征的一种方法。该方法包括从图像数据中提取被摄体的图像序列；从每个图像中估计被摄体的情感特征度量和面部中层特征度量；对于每个图像，将相关的估计情感度量和估计面部中层特征度量结合起来形成特征向量，从而形成特征向量序列，每个特征向量与图像序列的图像相关联，并将特征向量序列输入到人类特征识别神经网络。人类特征识别神经网络适于处理特征向量序列，并生成与从特征向量序列导出的至少一个人类特征相对应的输出数据。

技术领域

本发明涉及从对象的图像数据中识别人类特征的方法和系统。更具体地说，本发明的实施例涉及从包含人脸图像的视频数据中识别人类特征。

背景处理诸如人类等受试者的图像及视频数据以试图确定有关受试者的进一步信息的技术是众所周知的。例如，面部识别技术被广泛用于识别图像中出现的对象，例如用于确定视频录像中出现的人的身份。

市场上也已开发了更先进的技术，试图识别图像主体超出身份以外的更细微的信息。例如，已经开发了一些算法，试图从面部图像数据中识别出关于受试者即时情绪状态的信息。这样技术通常采用人工神经网络，特别是卷积神经网络(CNNs)。这些卷积神经网络使用预先选择的被分类为在图像数据中显示与特定预定义情绪相关联的面部表情的人类对象的图像进行“训练”。

虽然这些技术可以证明在识别诸如愤怒、轻蔑、厌恶、恐惧、快乐、悲伤和惊讶等直接和明显的“反射”情绪方面是成功的，但市面上很少有关于识别人类的更微妙的信息的可靠技术被开发，例如特征(即性格特征)，如自信、诚实、紧张、好奇、判断和不同意。

发明概要

根据本发明的第一方面，提供了一种从被摄体的图像数据识别人类特征的方法。该方法包括从图像数据中提取对象的图像序列；从每个图像估计对象的情感特征度量和面部中层特征度量；对于每个图像，将相关的估计情感度量和估计面部中层特征度量组合起来形成特征向量，从而形成一系列特征向量，每一个特征向量与一系列图像中的一个图像相关联，并将这些特征向量的序列输入到一个人类特征识别神经网络。人类特征识别神经网络适于处理特征向量序列，并生成与从特征向量序列导出的至少一个人类特征相对应的输出数据。

可选地，图像数据是视频数据。

可选地，提取的图像序列是被摄体的面部的面部图像。

可选地，被摄体的面部是人的面部。

可选地，情感度量由训练用于从人脸图像识别多个预定情感的情感识别神经网络来估计。

可选地，情绪度量与人类的一种或多种情绪相关联，包括愤怒、蔑视、厌恶、恐惧、幸福、悲伤和惊讶。

可选地，该方法还包括由情感识别神经网络输出n维向量，其中该向量的每个分量对应于预定情感之一，向量的每个分量的大小对应于情绪识别神经网络识别情绪的置信度。

可选地，该方法包括生成对应于与情感相关联的n维向量的进一步输出数据。

可选地，基于图像识别的算法估计人脸的面部中层特征度量。

可选地，面部中层特征度量是注视、头部位置和眼睛闭合的一个或多个。

可选地，长短期记忆网络是由从分类为包含与多个预定人类特征中的一个或多个相关联的人脸的视频数据来训练。

可选地，人类特征识别神经网络是一个循环神经网络。

可选地，人的特征识别神经网络是一个长短期记忆网络。

可选地，人类特征识别神经网络是卷积神经网络。

可选地，人的特征识别神经网络是基于波网的神经网络。