[发明专利]基于神经网络的视频描述生成方法、存储介质及终端设备

说明书

本发明属于计算机技术领域，尤其涉及一种基于神经网络的视频描述生成方法、计算机可读存储介质及终端设备。所述方法首先按照预设的帧间隔提取视频的图像帧，并将提取出的各个图像帧构造为所述视频的帧序列，然后分别计算所述帧序列中各个图像帧的特征向量，将所述帧序列中各个图像帧的特征向量依次输入到预设的神经网络编码器中进行处理，输出所述帧序列的语义向量，再将所述帧序列的语义向量输入到预设的神经网络解码器中进行处理，生成所述帧序列的词向量序列，最后使用归一化指数函数对所述词向量序列进行处理，生成所述视频的描述词语序列。通过本发明，使用神经网络取代人工进行视频描述，无需人力介入，工作效率得到了极大提升。

技术领域

本发明属于计算机技术领域，尤其涉及一种基于神经网络的视频描述生成方法、计算机可读存储介质及终端设备。

背景技术

当前，随着互联网、数字化设备以及多媒体技术的发展，由于视频相比文字和图片更为生动，因此视频受到了多媒体用户更多的关注。目前微信、快手等短视频应用及各种网络直播平台的快速发展，使得视频在人们的生活中扮演着愈来愈重要的角色。为了便于人们更好的了解视频图像内容，对视频图像进行描述和标注，从而得到视频图像的语义信息格外重要。视频描述，就是根据一个视频的具体内容，使用自然语言描述视频内容的特征，使用应用拍摄短视频然后自动生成相应的描述是视频描述的一个重要应用。视频描述在人机接口、视频检索、为盲人描述电影等领域中发挥的作用也愈发显著。对视频进行标注、描述的最直接传统的方法是人工的方式，但人工进行视频描述需要耗费大量的时间，效率十分低下，面对目前网络时代的海量视频，此种方式无疑是难以满足实际需要的。

发明内容

有鉴于此，本发明实施例提供了一种基于神经网络的视频描述生成方法、计算机可读存储介质及终端设备，以解决人工进行视频描述需要耗费大量的时间，效率十分低下的问题。

本发明实施例的第一方面提供了一种基于神经网络的视频描述生成方法，可以包括：

按照预设的帧间隔提取视频的图像帧，并将提取出的各个图像帧构造为所述视频的帧序列；

分别计算所述帧序列中各个图像帧的特征向量；

将所述帧序列中各个图像帧的特征向量依次输入到预设的神经网络编码器中进行处理，输出所述帧序列的语义向量；

将所述帧序列的语义向量输入到预设的神经网络解码器中进行处理，生成所述帧序列的词向量序列；

使用归一化指数函数对所述词向量序列进行处理，生成所述视频的描述词语序列。

本发明实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：

按照预设的帧间隔提取视频的图像帧，并将提取出的各个图像帧构造为所述视频的帧序列；

分别计算所述帧序列中各个图像帧的特征向量；

将所述帧序列中各个图像帧的特征向量依次输入到预设的神经网络编码器中进行处理，输出所述帧序列的语义向量；

将所述帧序列的语义向量输入到预设的神经网络解码器中进行处理，生成所述帧序列的词向量序列；

使用归一化指数函数对所述词向量序列进行处理，生成所述视频的描述词语序列。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：

按照预设的帧间隔提取视频的图像帧，并将提取出的各个图像帧构造为所述视频的帧序列；

分别计算所述帧序列中各个图像帧的特征向量；