[发明专利]用于对视频内容中的人进行自动注释的方法和系统

权利要求书

1.一种计算机实现的识别视频中的脸部的方法，包括：

(a)从至少一个输入视频流生成一个或多个脸部轨迹；

(b)为所述一个或多个脸部轨迹中的每一个选择一个或多个关键脸部图像；

(c)对所述一个或多个脸部轨迹进行聚类以生成一个或多个脸部集群，其中每个脸部集群与至少一个所述关键脸部图像相关联；

(d)从所述一个或多个脸部集群创建一个或多个脸部模型；以及

(e)将至少一个所述脸部模型与脸部模型数据库相互关联。

2.如权利要求1所述的计算机实现的方法，其中生成一个或多个脸部轨迹包括：

(i)检测所述至少一个输入视频流中的脸部；以及

(ii)对所述至少一个输入视频流中的所述脸部进行追踪。

3.如权利要求2所述的计算机实现的方法，其中在所述输入视频流的持续期间每隔一段时间重复所述检测和追踪。

4.如权利要求1所述的计算机实现的方法，进一步包括：

(f)使用来自所述脸部模型数据库的数据对至少一个输出视频流进行注释。

5.如权利要求4所述的计算机实现的方法，进一步包括：(i)对所述至少一个输出视频流中的至少一个脸部轨迹进行注释。

6.如权利要求1所述的计算机实现的方法，其中相互关联包括使用多数投票算法将所述一个或多个脸部集群与所述脸部模型数据库相互关联。

7.如权利要求1所述的计算机实现的方法，其中相互关联包括使用概率投票算法将所述一个或多个脸部集群与所述脸部模型数据库相互关联。

8.一种用于识别视频中的脸部的系统，包括：

(a)具有脸部条目的脸部模型数据库，所述脸部条目包括脸部模型和对应名称；以及

(b)视频脸部识别器模块，包括：

(i)脸部检测模块，检测输入视频流中的脸部，生成一个或多个检测的脸部；

(ii)脸部追踪模块，对所述一个或多个检测的脸部中的至少一个进行追踪并生成一个或多个脸部轨迹；

(iii)轨迹内脸部聚类模块，使用所述一个或多个脸部轨迹生成一个或多个轨迹内脸部集群；

(iv)轨迹间脸部聚类模块，使用所述一个或多个轨迹内脸部集群生成一个或多个轨迹间脸部集群；

(v)检测脸部模型生成器模块，使用所述一个或多个轨迹间脸部集群对所述一个或多个检测的脸部生成一个或多个检测脸部模型；和

(vi)模型比较模块，将所述一个或多个检测脸部模型与所述脸部条目进行比较。

9.如权利要求8所述的系统，进一步包括：

(c)脸部模型生成器，其中所述脸部模型生成器包括：

(i)名称生成模块，生成名称列表；

(ii)图像搜索模块，定位具有与所述名称列表中的一个或多个相应名称相关联的至少一个脸部的一个或多个图像；

(iii)脸部检测模块，检测所述一个或多个图像中的一个或多个目标脸部；

(iv)脸部模型生成模块，其对所述一个或多个目标脸部中的至少一个生成一个或多个脸部模型；

(v)收集模块，其成对存储所述一个或多个脸部模型和所述一个或多个相应名称；和

(vi)一致性学习模块，其中从所述一个或多个脸部模型选择一个或多个代表性脸部模型，并且其中所述一个或多个代表性脸部模型被存储在所述脸部模型数据库中。

10.如权利要求9所述的系统，其中基于在一个或多个远程位置可访问的文档中的名称生成名称列表。

11.如权利要求10所述的系统，其中文档包括web文档。

12.如权利要求8所述的系统，进一步包括：

(d)脸部模型更新模块，基于所述检测的脸部更新所述脸部模型数据库。

13.如权利要求8所述的系统，其中所述脸部模型数据库包括一个或多个条目，所述条目包括一个或多个脸部图像以及一个或多个相应的文本标签，其中每个条目表示一个实体。

14.如权利要求13所述的系统，其中所述脸部模型数据库进一步包括用户直接输入的一个或多个条目，包括一个或多个脸部图像以及一个或多个相应的文本标签。