[发明专利]视频描述生成方法、装置、设备及计算机可读存储介质

说明书

本申请属于智能决策技术领域，提供了一种视频描述生成方法、装置、设备及计算机可读存储介质，该方法包括：获取待描述视频，提取待描述视频的视觉特征、听觉特征和词特征；通过视频描述生成系统的多模态注意力机制主体模型分别对视觉特征和听觉特征进行编码，得到视觉编码特征和听觉编码特征；通过视频描述生成系统的辅助模型，对视觉编码特征和听觉编码特征进行处理，以生成目标辅助特征；通过多模态注意力机制主体模型对视觉编码特征、听觉编码特征、目标辅助特征和词特征进行解码，得到各个关键词的后验概率，并根据各个关键词的后验概率从各个关键词中选取解码词；根据述解码词生成待描述视频的视频描述。本申请能够提升视频描述的准确性。

技术领域

本申请涉及智能决策技术领域，尤其涉及一种视频描述生成方法、装置、设备及计算机可读存储介质。

背景技术

视频描述是一种为视频自动生成内容描述的技术。随着移动互联网的不断发展，短视频逐渐成为当下最为热门的传播形态，为短视频自动生成视频描述，在为用户提供参考、优化短视频的推荐算法和搜索引擎、提高短视频审核工作效率等方面具有重要的应用价值。与单独的图像描述或单独的音频描述不同的是，视频包含对象间复杂的时空关系，例如，“木梯上传来脚步声，两个人慢慢走近”，因此，如何自动生成视频描述是计算机视觉领域的一个挑战。

相关技术中，通常采用经典的基于注意力的编码器-解码器算法为视频生成视频描述，然而该算法仅利用视频中的视觉特征，因特征单一导致最终生成的视频描述质量并不高，无法对视频内容进行准确描述。

发明内容

本申请的主要目的在于提供一种视频描述生成方法、装置、设备及计算机可读存储介质，旨在解决现有自动生成视频描述的方式所生成的视频描述准确性不高的技术问题。

第一方面，本申请提供了一种视频描述生成方法，所述方法包括：

获取待描述视频，并提取所述待描述视频的视觉特征、听觉特征和词特征；

通过视频描述生成系统的多模态注意力机制主体模型分别对所述视觉特征和所述听觉特征进行编码，得到视觉编码特征和听觉编码特征；

通过所述视频描述生成系统的辅助模型，对所述视觉编码特征和所述听觉编码特征进行处理，以生成目标辅助特征；

通过所述多模态注意力机制主体模型对所述视觉编码特征、所述听觉编码特征、所述目标辅助特征和所述词特征进行解码，得到各个关键词的后验概率，并根据各个关键词的所述后验概率从各个关键词中选取解码词；

根据所述解码词生成所述待描述视频的视频描述。

第二方面，本申请还提供了一种视频描述生成装置，所述装置包括：

提取模块，用于获取待描述视频，并提取所述待描述视频的视觉特征、听觉特征和词特征；

编码模块，用于通过视频描述生成系统的多模态注意力机制主体模型分别对所述视觉特征和所述听觉特征进行编码，得到视觉编码特征和听觉编码特征；

目标辅助特征生成模块，用于通过所述视频描述生成系统的辅助模型，对所述视觉编码特征和所述听觉编码特征进行处理，以生成目标辅助特征；

解码模块，用于通过所述多模态注意力机制主体模型对所述视觉编码特征、所述听觉编码特征、所述目标辅助特征和所述词特征进行解码，得到各个关键词的后验概率，并根据各个关键词的所述后验概率从各个关键词中选取解码词；

视频描述生成模块，用于根据所述解码词生成所述待描述视频的视频描述。

第三方面，本申请还提供了一种计算机设备，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的视频描述生成方法的步骤。