[发明专利]用于根据表情对图像进行识别、排序和呈现的方法

说明书

实施方式涉及用于对在所选择的数字图像集合内识别出的视觉上可感知的面部表情进行排序和排列的数字图像处理、存储、检索和呈现系统及方法。另外，响应于用户对情绪表情或一系列情绪表情的选择，布置用于呈现的经排序和排列的数字图像集合，并将所选择的经布置的数字图像集合呈现在显示设备上。

相关申请的交叉引用

本申请是于2017年5月11日提交的美国临时申请no.62/504,932的非临时申请，并要求其优先权。

技术领域

本发明涉及多媒体识别、排序和呈现方法、系统、软件及产品分发介质。本发明的特定实施方式基于影像的对象的面部表情自动地对数字静止或视频影像集合进行排序、分类和呈现。

背景

具有高分辨率显示和视频记录功能诸如4K、超HD、超高清、增加的帧捕获率和静态照片“连拍模式”的数码相机的出现现在允许消费者在几秒钟内产生数百个高质量的静态图像。这种技术和方法与传统的“静态”摄影相竞争，并可以很快将其取代，作为一种流行的图像捕获形式。在正确的时间点适时启动快门按钮以捕获预期图像或表情的需求已经演变成下述成像设备，在这样的成像设备中将以高分辨率视频或静止图像连拍模式捕获场景，并且可以在捕获后选择期望的静止图像或视频序列。此外，利用扩展廉价的“基于云的照片存储”，用户可以自动上传由其一系列个人数字设备拍摄和/或存储的所有图像，这些个人数字设备包括：手机、平板电脑、静态和视频数码相机、存储卡、便携式硬盘驱动器、计算机等。此外，在线和零售电影胶片以及录像带数字化服务、照片打印、幻灯片和负片扫描服务、以及廉价的家用照片扫描仪也经常向这些集合提供附加量的数字照片和视频，通常很少有或根本没有组织方案或环境。用户现在累积了数十年来的大量照片和视频，包括成千上万的表达人类情绪的全范围的个人图像。

当前，消费者为对图像进行有效使用、分类和管理以允许他们的图像的检索、共享和创造性再使用而挣扎。随着高分辨率数字视频记录的增加，图像的量将随着使用挑战以及更多创造性应用的可能性而继续增长。在本领域中仍然需要一种能够对一系列数字图像进行组织、排序和呈现的系统，特别是一种可以以对图像内容的视觉、语义和感情性质敏感的方式对图像进行排序和呈现的系统，图像内容的视觉、语义和感情性质每个都有可能不同的形式。

此外，在拍摄人物照片时，捕捉期望的姿势和表情是摄影师和对象的关键要素和创作动机。在拥挤、动态的场景诸如体育赛事、婚宴、庆典或为早熟的幼儿拍照的情况下，捕捉期望的姿势和表情可能是一挑战。引申开来，可能期望一系列动作和/或表情以供以后在创造性应用中使用，诸如拼贴、海报、翻转书、透镜状运动打印、交互式视频应用、表情符号、头像等。但是，识别不同的姿势和表情、对成千上万个单独帧进行对准并重新排序将是艰巨耗时的工作，其易于对表情进行主观的错误描述，导致表情和经历的不准确管理。

发明内容

根据本发明，一种数字图像处理系统，包括用于对在所选择的数字图像集合内识别出的视觉上可感知的面部表情进行排序和排列的装置。该系统被配置为：针对一个或多个个体识别相似的人脸并使其成组；以及对于每组相似的人脸，响应于用户对情绪表情或一系列情绪表情的选择，对经排序和排列的数字图像集合进行呈现。该系统被配置为通过包括下述的情绪矢量中的至少一个情绪矢量来对视觉上可感知的面部表情进行排序和排列：积极-消极、愉快-不愉快、正面-负面、以及有意识-无意识。该系统配置为对下述的相对位置、取向和形状进行测量和分析：眼睛、眼眉、眼睑、前额/额头、鼻孔、舌头、嘴唇、牙齿和/或嘴部。该系统被配置为响应于用户选择的情绪表情或一系列情绪表情来布置用于呈现的经排序和排列的图像集合，并将所选择的经布置的数字图像集合呈现在显示设备上。

附图说明

图1示出了本发明的实施方式的系统的框图。

图2示出了根据本发明的实施方式的对库中的图像进行处理以识别表情并通过一个或多个情绪矢量按表情类型对图像进行排序的方法的流程图。