[发明专利]一种基于角色的电视剧视频分析方法

权利要求书

1.一种基于角色的电视剧视频分析方法，其特征在于，该方法包括以下步骤：

步骤1，提取角色直方图来表征视频和剧本中的角色出现关系；

步骤2，根据提取出的角色直方图，构建生成式电视剧拍摄模型，在所述生成式电视剧拍摄模型中，将角色人名与人脸的对应关系表示为一个重要的模型参数，而剧本场景与视频镜头的对应关系当做一种隐含的状态序列；

步骤3，对所述生成式电视剧拍摄模型中的参数进行学习，得到最优的模型参数，进而得到视频人脸的身份；

步骤4，推理最优的隐含状态，进而得到最优的视频场景划分。

2.根据权利要求1所述的方法，其特征在于，在剧本中，所述角色直方图表示为人名直方图，它反应了不同角色在说话次数上的分布情况。

3.根据权利要求2所述的方法，其特征在于，利用以下步骤得到所述人名直方图：

步骤1.1，利用正则表达式来解析剧本的场景结构和人物对话，从而检测出每个场景中出现的人名；

步骤1.2，根据人名检测的结果，统计每个场景中不同角色人名的出现次数，从而得到所述人名直方图。

4.根据权利要求1所述的方法，其特征在于，在视频中，所述角色直方图表示为人脸直方图，它反应了不同角色在镜头中出现次数的分布。

5.根据权利要求4所述的方法，其特征在于，利用以下步骤得到所述人脸直方图：

步骤1.3，对连续视频帧的近邻位置进行检测，得到一组时空近邻的人脸图像序列X_i作为后续人脸聚类的基本单元；

步骤1.4，采用约束聚类的方法来对所述人脸图像序列集合Ξ＝[X₁，X₂，...，X_n]进行聚类，其中n为……，得到K个代表不同身份的人脸序列簇Ф＝[X⁽¹⁾，X⁽²⁾，...，X^(K)]；

步骤1.5，根据人脸聚类的结果，统计每个视频中属于不同人脸簇的角色出现次数，从而得到所述人脸直方图。

6.根据权利要求5所述的方法，其特征在于，所述约束聚类的方法进一步包括以下步骤：

首先，计算两两人脸图像序列间的流形距离矩阵Δ＝{δ_ij}，其中，

δij=minxim∈Ximinxjn∈XjDist(xim,xjn),]]>

和分别为第i和j个人脸图像序列，Dist(·，·)是任意两幅图像的距离度量；

然后，计算有约束的人脸图像序列相似度矩阵Г＝Δ+Ω，其中

接着，计算正定化相似度矩阵：Г₊＝Г+μ·I，其中，I为单位阵，μ为一个正数，其使得最终得到的矩阵Г₊正定；

最后，对正定化后的相似度矩阵Г₊做标准的核K均值聚类，得到K个代表不同身份的人脸序列簇Ф＝[X⁽¹⁾，X⁽²⁾，...，X^(K)]。