[发明专利]用于基于脸部表情的概括的方法和装置

说明书

技术领域

本发明的一个示例实施例总体上涉及用于图像的概括和视频概括的技术，并且更特别地涉及一种用于有助于基于脸部表情的图像和/或视频概括的方法和装置。

背景技术

将高质量相机集成到移动设备中以及媒体共享平台(比如YouTube、Instagram等)的迅速增长已经使得越来越多的人变得对捕获和共享特殊场合和日常生活的视频和相片感兴趣。由移动设备用户记录的大量相片和视频内容已经造成了对于快速和容易的视频编辑和相片过滤和/或排序方法的增加的需求。

关于视频，由移动设备用户摄制的许多视频可能包含可能令查看者厌烦的大量无关或者无趣的内容。然而，现有视频编辑工具通常需要不是特别地用户友好的费力过程。因此，将视频减少成适度长度的段而保持有趣的内容的自动视频概括将是一种更理想的解决方案。

相似地，移动设备用户可能往往拍摄大量相片并且在面临没有过滤掉较为无趣相片的方法时简单地将所有相片上传到媒体共享平台。因此，可以组织、标记和/或过滤相片的自动图像概括也将有益。

发明内容

因此，根据本发明的示例实施例提供了一种用于有助于基于脸部表情的图像和/或视频概括的方法、装置和计算机程序产品。就这一点而言，一个实施例的该方法、装置和计算机程序产品可以接收一个或者多个第一帧和一个或者多个第二帧、确定关于在一个或者多个第二帧中包含的一个或者多个脸部表情的信息以及使得关于一个或者多个脸部表情的信息与一个或者多个第一帧中的至少一个第一帧关联。以这一方式，示例实施例的方法、装置和计算机程序产品可以有助于例如基于比如用双相机移动设备拍摄相片或者记录视频的用户的脸部表情的图像和/或视频概括。

在一个实施例中，提供了一种方法，该方法包括接收一个或者多个第一帧和一个或者多个第二帧、确定关于在一个或者多个第二帧中包含的一个或者多个脸部表情的信息以及使得关于一个或者多个脸部表情的信息与一个或者多个第一帧中的至少一个第一帧关联。

在又一实施例中，提供了一种方法，该方法包括接收第一静止图像和第二静止图像、确定关于在第二静止图像中包含的一个或者多个脸部表情的信息以及使得第一静止图像用关于在第二图像中包含的一个或者多个脸部表情的信息的指示被标记。

在另一实施例中，提供了一种方法，该方法包括接收第一多个视频帧和第二多个视频帧并且在第一多个视频帧中确定至少一个视频段。该方法还包括在第二多个视频帧中检测至少一个脸部表情改变并且至少部分基于至少一个脸部表情改变来确定至少一个视频段的至少一个关键帧。该方法进而还包括使得至少一个关键帧与至少一个视频段关联。

在再一实施例中，提供了一种包括至少一个处理器和至少一个存储器的装置，至少一个存储器包括程序代码指令，至少一个存储器和程序代码指令被配置为与处理器一起指引该装置至少接收一个或者多个第一帧和一个或者多个第二帧、确定关于在一个或者多个第二帧中包含的一个或者多个脸部表情的信息以及使得关于一个或者多个脸部表情的信息与一个或者多个第一帧中的至少一个第一帧关联。

在又一实施例中，提供了一种包括至少一个处理器和至少一个存储器的装置，至少一个存储器包括程序代码指令，至少一个存储器和程序代码指令被配置为与处理器一起指引该装置至少接收第一静止图像和第二静止图像、确定关于在第二静止图像中包含的一个或者多个脸部表情的信息以及使得第一静止图像用关于在第二图像中包含的一个或者多个脸部表情的信息的指示被标记。

在另一实施例中，提供了一种包括至少一个处理器和至少一个存储器的装置，至少一个存储器包括程序代码指令，至少一个存储器和程序代码指令被配置为与处理器一起指引该装置至少接收第一多个视频帧和第二多个视频帧并且在第一多个视频帧中确定至少一个视频段。还指引该装置在第二多个视频帧中检测至少一个脸部表情改变并且至少部分基于至少一个脸部表情改变来确定至少一个视频段的至少一个关键帧。进而还指引该装置使得至少一个关键帧与至少一个视频段关联。

在再一实施例中，提供了一种包括非瞬态计算机可读介质的计算机程序产品，非瞬态计算机可读存储介质中存储程序代码部分。计算机程序代码指令被配置为在执行时指引装置至少接收一个或者多个第一帧和一个或者多个第二帧、确定关于在一个或者多个第二帧中包含的一个或者多个脸部表情的信息以及使得关于一个或者多个脸部表情的信息与一个或者多个第一帧中的至少一个第一帧关联。