[发明专利]一种基于多模态特征的视频实体关系及交互识别方法

说明书

一种基于多模态特征的视频实体关系及交互识别方法，对影片中实体之间的交互进行预测识别：对影片根据场景划分为中片段，对中片段分别向上聚合为长片段，向下分割为短片段，对于每个中片段，将提取的实体特征、实体对特征、视频片段特征、音频特征和文字特征进行拼接作为该片段的融合特征，取平均作为长片段的特征预测长片段中的实体关系，并将该平均特征连接到每一个中片段特征，用于预测对应的中片段中的实体之间的互动，实体关系和实体互动同时进行预测，并联合训练对应的识别网络。本发明将长视频分为三种长度的视频，对长片段预测实体关系，对中片段预测实体交互和场景状态，对短片段预测实体交互，构建出实体关系图和互动图。

技术领域

本发明属于计算机视觉技术领域，涉及视频中实体关系检测、实体互动检测以及场景状态预测，具体为，具体为一种基于多模态特征的视频实体关系及交互识别方法。

背景技术

长视频一般指超过半个小时的视频，内容以剧情为主，有完整的故事主线，一般为影片。长视频上不同实体间的关系分析和互动分析有助于长视频的深度理解，这往往需要根据已知信息推断隐藏的信息。关系分析具体是指构建整个影片中出现场景和人物两类实体间的(社会)关系图，互动分析则是致力于构建不同视频片段中人物实体间出现的动作互动图，本发明还涉及对场景状态进行预测。通过实体关系图、互动图以及场景状态信息，可以回答对视频深度分析的各种问题。

类似的关于视频理解的工作包括视频归纳、行为识别、视觉关系检测、社交关系识别和视频情绪检测，但是这些工作一般适用于时长较短的视频，且缺少对不同实体间关系和互动转变的深度分析，对于长视频分析，仍然存在以下问题：

1)短视频内容相对较少，往往只有一个场景，人物不多，用于短视频分析的现有技术不能解决多个实体，包括人物、场景间的关系、互动预测；

2)对短视频的分析难以进行合并，对未同框实体间的关系和互动无法预测。

3)对短视频的状态分析都比较简单，无法识别一些解决复杂情境。

同时，现有技术的分析方法一方面大多适用于有足够训练样本的情况，而长视频的深度关系分析任务则有部分关系不存在训练样本，另一方面，目前很少有能对实体间关系和互动进行联合分析的方法。因此现有的技术不能解决长视频上的深度关系和互动分析。

发明内容

本发明要解决的问题是：技术需要对长视频做深度理解，需要构建长视频上的实体之间的交互关系，进行视频的深度分析。

本发明的技术方案为：一种基于多模态特征的视频实体关系及交互识别方法，对影片利用识别、跟踪手段提取出视觉特征，结合音频和台词特征，对影片中实体之间的交互进行预测识别：对影片根据场景划分为中等长度视频片段，称为中片段，首先根据场景、视觉和声音模型对中片段分别向上聚合为长片段，以及根据场景的镜头向下分割为短片段，同时根据指定的人物截图和场景截图对中、短片段中的人物和场景进行识别和跟踪，提取中片段中对应的实体特征，对中片段中同时出现的两个实体提取实体对特征，并导出对应中片段的音频和文字特征，对于每个中片段，将提取的实体特征、实体对特征、视频片段特征、音频特征和文字特征进行拼接作为该片段的融合特征，然后将构成一个长片段的多个中片段的特征取平均，作为长片段的特征预测长片段中的实体关系，并将该平均特征连接到每一个中片段特征，用于预测对应的中片段中的实体之间的互动，实体关系和实体互动同时进行预测，并联合训练对应的识别网络；

由短片段直接预测人物的互动，用于提供中片段实体互动的时序；

对长片段的视频、音频和文字特征进行拼接，组成场景特征，再根据已知的场景标签，训练用来预测该视频的场景信息的模型。

进一步的，根据人物和场景进行对长片段识别和跟踪，与中片段一样得到融合特征，对长片段预测其中的实体关系，作为实体关系的结果输出。