[发明专利]一种基于多模态特征的视频实体关系及交互识别方法

权利要求书

1.一种基于多模态特征的视频实体关系及交互识别方法，其特征是对影片利用识别、跟踪手段提取出视觉特征，结合音频和台词特征，对影片中实体之间的交互进行预测识别：对影片根据场景划分为中等长度视频片段，称为中片段，首先根据场景、视觉和声音模型对中片段分别向上聚合为长片段，以及根据场景的镜头向下分割为短片段，同时根据指定的人物截图和场景截图对中、短片段中的人物和场景进行识别和跟踪，提取中片段中对应的实体特征，对中片段中同时出现的两个实体提取实体对特征，并导出对应中片段的音频和文字特征，对于每个中片段，将提取的实体特征、实体对特征、视频片段特征、音频特征和文字特征进行拼接作为该片段的融合特征，然后将构成一个长片段的多个中片段的特征取平均，作为长片段的特征预测长片段中的实体关系，并将该平均特征连接到每一个中片段特征，用于预测对应的中片段中的实体之间的互动，实体关系和实体互动同时进行预测，并联合训练对应的识别网络；

由短片段直接预测人物的互动，用于提供中片段实体互动的时序；

对长片段的视频、音频和文字特征进行拼接，组成场景特征，再根据已知的场景标签，训练用来预测该视频的场景信息的模型。

2.根据一种基于多模态特征的视频实体关系及交互识别方法，其特征是根据人物和场景进行对长片段识别和跟踪，与中片段一样得到融合特征，对长片段预测其中的实体关系，作为实体关系的结果输出。

3.根据权利要求1或2所述的一种基于多模态特征的视频实体关系及交互识别方法，其特征是建立识别网络用于识别视频中的实体关系图、实体交互图以及场景信息，识别网络的输入包括待识别影片的中片段，以及指定的场景截图、场景名称、人物截图及对应的人物名称，输出为对应场景和人物间的关系图、互动图以及相应的场景信息；使用多模态特征联合训练识别网络，首先将中片段根据场景、视觉和声音模型通过语义聚合为为长片段，然后从中片段中提取视频、声音和字幕文字特征，根据给定的场景截图和人物截图识别场景或人物出现在视频段中的位置，提取得到对应的融合特征，将组成长片段的一组中片段的融合特征取平均作为该长片段的特征，用于预测该长片段中的实体关系，并将该平均特征连接到每一个中片段特征，用于预测对应的中片段中的实体之间的互动，训练识别网络时，长片段实体关系和中片段实体互动同时进行预测，联合进行训练；同时，中片段的视频、声音和文字特征单独拼接作为该中片段的场景特征；

其中，通过小样本学习结合零样本学习同时预测长片段中的实体关系和中片段中的实体互动以及场景信息，以达到关系、互动以及场景状态互相影响、联合学习的目的。