[发明专利]一种电视节目内部自动生成主要人物摘要的方法

权利要求书

1.一种电视节目内部自动生成主要人物摘要的方法，包括对电视节目视频进行镜头切割、关键帧提取、判别有标志的镜头段落和无标志的镜头段落，其特征在于，该方法还包括以下步骤：

步骤一，对每个单独的有标志的镜头段落按时间均匀间隔地提取关键帧，对关键帧图像进行人脸检测得到人物人脸图像；

步骤二，对人脸图像进行特征提取，再通过基于线性聚类的算法以及基于图论的聚类算法进行人物聚类；

步骤三，基于聚类的结果自适应地进行主要人物选取；

步骤四，融合上述所有各个单独的有标志镜头段落的主要人物类别，再进行一次基于图论的聚类算法进行人物再聚类；

步骤五，对聚类结果中人物类别进行评分，选取出采访者，对采访者和受访者作标记并生成主要人物摘要。

2.根据权利要求1所述的方法，其特征在于对人脸图像进行特征提取，再通过基于线性聚类的算法以及基于图论的聚类算法进行人物聚类包括：

步骤一，对提取出来的时间连续的人脸计算空间位置区域重叠度，并提取Gabor特征后计算人脸间的Gabor距离，综合重叠度和Gabor距离将时间连续的相似人脸聚类；

步骤二，基于线性聚类的结果，再进行一次基于图论的聚类，把所有线性聚类得到的每个人物类别作为图的结点，构建一个无向图，根据阈值对图的最小生成树进行剪枝，结果为多棵子树，即为多个人物类别。

3.根据权利要求1所述的方法，其特征在于基于聚类结果自适应地进行主要人物选取包括：计算每一类人物的持续时间，对这些时间值进行模糊二均值聚类，比较小的类别中心作为选取的阈值，大于阈值的类别被选取为主要人物。

4.根据权利要求1所述的方法，其特征在于对聚类结果中人物类别进行评分，选取出采访者，对采访者和受访者作标记并生成主要人物摘要包括：

步骤一，计算每个类别的持续时间；

步骤二，计算每个类别的时间方差；

步骤三，融合持续时间和时间方差信息，计算每个类别的得分；

步骤四，选出得分最高的作为采访者类别，标记采访者和受访者。

5.根据权利要求4所述的方法，其特征在于，融合持续时间和时间方差信息并计算每个类别的得分为：

第k类别得分的算法为：得分向量S_k＝(S_k，1，S_k，2)，式子中持续时间T_k，时间方差

6.根据权利要求4所述的方法，其特征在于，选出得分最高的作为采访者类别，并标记采访者和受访者包括：

步骤一，最高得分的算法为：l＝argmax(||S_k||₂)，l类别标记为采访者，其余类别都标记为受访者，其中||·||₂代表2-范数，argmax(·)代表使范数满足最大值时参数k的值；

步骤二，无论是采访者还是受访者，都选取出每个有标志镜头段落中尺寸最大的人脸图像作为此段落摘要图像。