[发明专利]一种基于实体关系抽取的视频描述方法与装置

摘要

本发明公开了一种基于实体关系抽取的视频描述方法与装置，该方法包括以下步骤：1)获取视频数据集，并对视频进行特征提取；所述特征包括二维、三维特征以及二者的混合特征；2)对视频中出现的实体进行抽取，然后对实体关系进行向量化表征；3)根据提取的视频特征和实体关系表征，获得视频描述；4)提取视频的关键词，将关键词与多个视频描述进行结合，对所有生成的句子进行排序，排序最靠前的句子即为最终的视频描述。本发明方法通过抽取视频中的实体，生成实体关系并加入到词表中，解决语料不足的问题；通过attention机制和实体关系对句子生成进行改进，产生的视频描述句子能更加准确和恰当能还原视频所要表达的内容。

主权项

1.一种基于实体关系抽取的视频描述方法，其特征在于，包括以下步骤：/n1)获取视频数据集，并对视频进行特征提取；所述特征包括二维、三维特征以及二者的混合特征；/n2)对视频中出现的实体进行抽取，然后对实体关系进行向量化表征；/n2.1)对视频中出现的实体进行抽取，抽取的实体按照时间顺序进行排列，并按照此顺序进行配对，配对得到实体对作为实体关系；/n2.2)对步骤2.1)中的实体关系在关系库中进行索引和查找，将找到的全部关系以及关系词添加到词表中，完成对缺失词的填充；/n2.3)对实体关系进行向量化表征；/n3)根据提取的视频特征和实体关系表征，获得视频描述；/n3.1)采用LSTM对步骤1)提取的视频特征进行编码，并保存经过LSTM网络层之后的隐藏状态；/n3.2)构建用于视频描述输出语言模型，语言模型的输入包含编码阶段的视频输入，attention权重矩阵，以及在不同时刻的实体关系向量；/n所述attention权重矩阵通过语言模型的隐藏状态和步骤3.1)保存的隐藏状态进行相似度计算获得；/n3.3)根据语言模型的输出，获得多个视频描述；/n4)提取视频的关键词，将关键词与多个视频描述进行结合，对所有生成的句子进行排序，排序最靠前的句子即为最终的视频描述。/n