[发明专利]视频帧语义信息的提取方法、装置及计算机设备

说明书

本发明涉及人工智能领域，公开了一种视频帧语义信息的提取方法、装置及计算机设备，其中方法包括：获取待进行语义信息提取的视频帧序列，并对所述视频帧序列进行视频特征提取，得到视频帧特征序列；根据所述视频帧特征序列，确定所述视频帧序列中各视频帧对应的查询向量、键向量和值向量，并根据所述查询向量、所述键向量和所述值向量，计算所述视频帧序列中任意两视频帧之间的相关度；根据所述视频帧序列中任意两视频帧之间的相关度，确定所述视频帧序列对应的语音信息。本发明主要适用于视频帧语义信息的提取，能够获得更高层次的语音信息，便于视频存储、检索等下游任务的执行。

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种视频帧语义信息的提取方法、装置及计算机设备。

背景技术

随着信息技术的不断发展，每天都会产生大量各种不同题材的视频，为了方便不同题材视频的存储和检索，通常需要从视频中提取相应的视频信息，从而方便存储、检索和相似度计算等下游任务。

目前，在提取视频信息的过程中，通常可以利用卷积神经网络提取视频帧中的语义信息。然而，这种利用卷积神经网络提取视频信息的方式，能够获取的语音信息有限，针对较高层次的语音信息，如一段视频中任意两视频帧之间的相关度信息无法提取，从而不利于视频存储、检索等下游任务的执行。

发明内容

本发明提供了一种视频帧语义信息的提取方法、装置及计算机设备，主要在于能够提取一段视频中任意两视频帧之间的相关度信息，从而能够获得更高层次的语音信息，便于视频存储、检索等下游任务的执行。

根据本发明的第一个方面，提供一种视频帧语义信息的提取方法，包括：

获取待进行语义信息提取的视频帧序列，并对所述视频帧序列进行视频特征提取，得到视频帧特征序列；

根据所述视频帧特征序列，确定所述视频帧序列中各视频帧对应的查询向量、键向量和值向量，并根据所述查询向量、所述键向量和所述值向量，计算所述视频帧序列中任意两视频帧之间的相关度；

根据所述视频帧序列中任意两视频帧之间的相关度，确定所述视频帧序列对应的语音信息。

根据本发明的第二个方面，提供一种视频帧语义信息的提取装置，包括：

获取单元，用于获取待进行语义信息提取的视频帧序列，并对所述视频帧序列进行视频特征提取，得到视频帧特征序列；

计算单元，用于根据所述视频帧特征序列，确定所述视频帧序列中各视频帧对应的查询向量、键向量和值向量，并根据所述查询向量、所述键向量和所述值向量，计算所述视频帧序列中任意两视频帧之间的相关度；

确定单元，用于根据所述视频帧序列中任意两视频帧之间的相关度，确定所述视频帧序列对应的语音信息。

根据本发明的第三个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

获取待进行语义信息提取的视频帧序列，并对所述视频帧序列进行视频特征提取，得到视频帧特征序列；

根据所述视频帧特征序列，确定所述视频帧序列中各视频帧对应的查询向量、键向量和值向量，并根据所述查询向量、所述键向量和所述值向量，计算所述视频帧序列中任意两视频帧之间的相关度；

根据所述视频帧序列中任意两视频帧之间的相关度，确定所述视频帧序列对应的语音信息。

根据本发明的第四个方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

获取待进行语义信息提取的视频帧序列，并对所述视频帧序列进行视频特征提取，得到视频帧特征序列；