[发明专利]一种基于语义信息引导的视频内容描述方法

摘要

本发明一种基于语义信息引导的视频内容描述方法。本发明包括如下步骤：步骤(1)对视频格式进行预处理；步骤(2)建立用于引导的语义信息；步骤(3)计算语义特征向量[Ai,XMS(i)]的权重步骤(4)对语义特征向量[Ai,XMS(i)]进行解码；步骤(5)对视频描述模型进行测试。本发明通过利用faster‑rcnn模型，能快速检测每帧图像上的关键语义信息，并加入到原有用CNN提取的特征中，使得每个时间节点输入LSTM网络的特征向量具有语义信息，从而在解码过程中，既保证视频内容时空关联性，又提高了语言描述的准确率。

主权项

一种基于语义信息引导的视频内容描述方法，其特征在于包括如下步骤：步骤(1)对视频格式进行预处理；步骤(2)建立用于引导的语义信息；步骤(3)计算语义特征向量[Ai,XMS(i)]的权重步骤(4)对语义特征向量[Ai,XMS(i)]进行解码；步骤(5)对视频描述模型进行测试。