[发明专利]面部自动标注方法及系统

权利要求书

1.一种面部自动标注方法，其特征在于，所述方法包括：

将一段输入视频分割为多个不同的视频帧集合；

通过摄像机获取内容及镜头边界检测算法在所述视频帧集合中提取时间及空间信息；

通过抓取社会网络中的弱标记面部图像从而收集弱标记数据；

通过结合迭代优化聚类算法的面部检测滤除所述弱标记数据中的噪声；

生成包含有已优化标记图像的标记数据库作为训练数据；

依据存储在所述标记数据库中的已优化标记图像，在所述输入视频中寻找并标记包含一个或者多个面部图像的，与所述标记数据库中的已优化标记图像相匹配的目标视频帧；

通过半监督学习算法，对输入视频中尚未标记的面部轨迹进行标记从而标注在所述输入视频中的面部图像；并且

输出包含有已标注面部图像的输入视频；

所述半监督学习算法具体包括：

不包含约束的目标函数通过如下算式表示：

其中，S为具有P个特征的面部轨迹的重点面部特征；S_x,j为对于第x个面部轨迹重点特征的第j个特征维度的值；k＝1，...，K，K为最终聚类结果的类别总数，并且C_x表示标记在第x个面部的聚类的标签；1≤C_x≤K，1jP；表示标记在第x₁个面部的聚类的标签，表示标记在第x₂个面部的聚类的标签，且

2.根据权利要求1所述的方法，其特征在于，所述通过摄像机获取内容及镜头边界检测算法在所述视频帧集合中提取时间及空间信息的步骤具体包括：

将初始的交错形式的视频分离为一系列视频序列，通过记录源于输入视频帧中包含的摄像机设置，将每一视频序列分别与初始的摄像机设置一致的已记录摄像机设置设置对应；

在一系列视频帧中进行面部定位，确定面部的位置，并且

通过在每一摄像机获取内容的视频帧中进行面部定位，从视频中提取面部轨迹。

3.根据权利要求2所述的方法，其特征在于，所述通过在每一摄像机获取内容的视频帧中进行面部定位，从视频中提取面部轨迹的步骤具体包括：利用每一摄像机获取内容的第一个已检测面部初始化一个新的面部轨迹；对于每一摄像机获取内容余下的视频帧，当分别来自于连续的视频帧的两个已检测面部的距离超过预设的阈值时，初始化一个新的面部轨迹；当分别来自于连续的视频帧的两个检测到的面部的距离没有超过预设的阈值时，则将所述面部加入到当前面部轨迹中。

4.根据权利要求1所述的方法，其特征在于，所述通过结合迭代优化聚类算法的面部检测滤除所述弱标记数据中的噪声的步骤具体包括：

在其中一个社会网络以及内部数据库中进行关键词检索；

在社会网络检索结果的集合的每个图像中自动地定位面部的位置；

通过滤除搜索结果图像中的噪声获取只与电影相关的每个演员的面部图像；

存储所述只与电影相关的每个演员的面部图像；

使用迭代优化聚类算法优化已标记面部图像；并且

将优化后的已标记面部图像存储到标记数据库中作为训练数据。

5.根据权利要求2所述的方法，其特征在于，所述将初始的交错形式的视频分离为一系列视频序列，每一视频序列均与通过记录源于输入视频帧的每一摄像机，与初始的摄像机设置一致的“已记录的摄像机”对应的步骤具体包括：

使用颜色的差异性来衡量两个视频帧之间的相似程度；

在一段视频序列中检测多个镜头；

选出用于代表镜头视频内容的关键帧；并且

确定一个摄像机获取内容。

6.根据权利要求5所述的方法，其特征在于，所述在一段视频序列中检测多个镜头的步骤还包括：

当视频帧的差异超出预设界限时，定义为一个新的镜头；其中，所述预设界限以视频节目的类型为基础，利用约束生成预设界限；并利用所述预设界限进一步优化检测结果。