[发明专利]一种基于角色的电视剧视频分析方法

摘要

本发明公开了一种基于角色的电视剧视频分析，通过人名与人脸的对应关系来关联剧本与视频，使得语义的场景结构能够准确的由剧本映射到视频中。首先，从剧本和视频中分别提取人名与人脸直方图表示，然后利用一种生成式模型对电视剧的拍摄过程进行建模。从模型参数的学习中，可以无监督地学习到人名与人脸的对应关系；从隐状态的推理中，可以最优地得到视频场景的分割。本发明能够在无需人工标注的情况下自动地识别识别视频人脸的身份，特别适用于大规模的视频内容分析；同时，由于引入剧本文件做指导，得到的场景划分具有语义可理解、可比较的优势。

主权项

一种基于角色的电视剧视频分析方法，其特征在于，该方法包括以下步骤：步骤1，提取角色直方图来表征视频和剧本中的角色出现关系；步骤2，根据提取出的角色直方图，构建生成式电视剧拍摄模型，在所述生成式电视剧拍摄模型中，将角色人名与人脸的对应关系表示为一个重要的模型参数，而剧本场景与视频镜头的对应关系当做一种隐含的状态序列；步骤3，对所述生成式电视剧拍摄模型中的参数进行学习，得到最优的模型参数，进而得到视频人脸的身份；步骤4，推理最优的隐含状态，进而得到最优的视频场景划分。