[发明专利]面部群集设备、面部群集方法和程序

说明书

技术领域

本发明涉及面部群集(face clustering)设备、面部群集方法和程序。

背景技术

近年来，一种高效管理视频中包含的人物等的面部信息的方法正引起关注。例如，JP-A-2009-81883公开了一种提供资源数据的方法，该资源数据使得用户能够很容易掌握视频中包含的人物的面部信息和人物的出现场景。另外，JP-A-2010-3021公开了一种通过在检测视频中包含的面部信息时聚集同一人的面部信息并从所聚集的面部特征量中去除不适于面部群集的面部信息来实现面部群集的加速和精度增强的方法。

发明内容

然而，在以视频中包含的所有人物的面部信息作为对象执行面部群集的情况下，需要大的存储容量和高的计算能力。考虑到前述问题，希望提供一种新颖且改进的面部群集设备、面部群集方法和程序，其能够以更高效率、更高精度来群集面部信息。

根据本发明的一个实施例，提供了一种面部群集设备，包括面部检测单元、面部方向检测单元、面部辨别单元、单位群组设置单元和群集单元，面部检测单元检测包含在图像中的面部，面部方向检测单元检测由面部检测单元检测出的面部的方向，面部辨别单元考虑由面部方向检测单元检测出的面部的方向来检测具有相似特征的面部，并形成表示该面部的特征的多条面部信息的集合，单位群组设置单元针对由面部辨别单元形成的多条面部信息的每个集合，基于由面部方向检测单元检测出的面部的方向将面部信息的条数缩窄到为每个面部方向预先设定的数目，并将条数已被缩窄的多条面部信息的每个集合设置为一个单位群组，群集单元以由单位群组设置单元设置的单位群组为单位、执行基于每个单位群组中包括的多条面部信息的群集。

当由单位群组设置单元设置的单位群组被表示为第一单位群组并且基于第k(k＝1至N)单位群组设置的单位群组被表示为第k+1单位群组时，群集单元可以对于k＝2至N依次执行以下操作：取第一单位群组中存在于按预定的第一时间T₁划分得到的每个区间中的单位群组作为对象，合并具有相似特征的单位群组以设置第二单位群组，并且取第k单位群组中存在于按预定的第k时间T_k(T_k＞T_k-1)划分得到的每个区间中的单位群组作为对象，合并具有相似特征的单位群组以设置第k+1单位群组。

群集单元可包括第一合并单元和第二合并单元，第一合并单元以设在所有单位群组中的每条面部信息作为对象，基于每条面部信息的相似度来合并具有相似特征的单位群组，第二合并单元使用设在每个个体单位群组中的面部信息，基于每个个体单位群组的相似度来合并具有相似特征的单位群组。第一合并单元可以以第i(1≤i≤N)单位群组为对象来执行合并具有相似特征的单位群组的操作，并且第二合并单元可以以第j(j≠i)单位群组为对象来执行合并具有相似特征的单位群组的操作。

群集单元可以被配置为不合并与基本上同一时间相对应的两个单位群组。

当以第i(1≤i≤N)单位群组为对象来执行合并具有相似特征的单位群组的操作时，第一合并单元可以重复执行该操作直到合并不再发生为止。

单位群组设置单元可以缩窄面部信息的条数，使得与分开的时间相对应的多条面部信息易于被设置在同一单位群组中。

第二合并单元可以以至少第一单位群组为对象来执行合并具有相似特征的单位群组的操作。

当合并具有相似特征的单位群组时，群集单元可以保持设在合并前的单位群组中的多条面部信息以及表示合并前的单位群组和合并后的单位群组之间的对应关系的分层信息。

根据本发明的另一实施例，提供了一种面部群集方法，包括以下步骤：检测包含在图像中的面部；检测在检测面部的步骤中检测出的面部的方向；考虑在检测方向的步骤中检测出的面部的方向来检测具有相似特征的面部，并形成表示该面部的特征的多条面部信息的集合；针对在检测和形成步骤中形成的多条面部信息的每个集合，基于在检测方向的步骤中检测出的面部的方向将面部信息的条数缩窄到为每个面部方向预先设定的数目，并将条数已被缩窄的多条面部信息的每个集合设置为一个单位群组；以及以在缩窄步骤中设置的单位群组为单位，基于每个单位群组中包括的多条面部信息来执行群集。