[发明专利]视频问答方法、装置、电子设备及存储介质

说明书

本公开提供了视频问答方法、装置、电子设备及存储介质，涉及自然语言处理、深度学习、语音识别、知识图谱以及计算机视觉等人工智能领域，其中的方法可包括：针对待回答的问题对应的视频，确定出M个关键帧，M为大于1的正整数，且小于或等于视频中的视频帧数量；根据M个关键帧确定出所述问题对应的答案。应用本公开所述方案，可提升获取到的答案的准确性。

技术领域

本公开涉及人工智能技术领域，特别涉及自然语言处理、深度学习、语音识别、知识图谱以及计算机视觉等领域，尤其涉及视频问答方法、装置、电子设备及存储介质。

背景技术

视频问答是指通过理解相关视频内容生成给定问题的自然语言形式的答案(回答)。视频问答在很多场景下得到了广泛应用，如多媒体信息检索场景及智能助理、商业服务场景等。

但目前的问答通常仅支持针对视频中的单一静态画面上内容的问答，所参考的信息过于片面，即可利用的信息有限，从而导致得到的答案的准确性较差。

发明内容

本公开提供了视频问答方法、装置、电子设备及存储介质。

根据本公开的一个方面，提供了一种视频问答方法，包括：

针对待回答的问题对应的视频，确定出M个关键帧，所述M为大于1的正整数，且小于或等于所述视频中的视频帧数量；

根据所述M个关键帧确定出所述问题对应的答案。

根据本公开的一个方面，提供了一种视频问答装置，包括：第一处理模块以及第二处理模块；

所述第一处理模块，用于针对待回答的问题对应的视频，确定出M个关键帧，所述M为大于1的正整数，且小于或等于所述视频中的视频帧数量；

所述第二处理模块，用于根据所述M个关键帧确定出所述问题对应的答案。

根据本公开的一个方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。

根据本公开的一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。

根据本公开的一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如以上所述的方法。

上述公开中的一个实施例具有如下优点或有益效果：可结合从视频中确定出的多个关键帧来生成问题的答案，从而可利用更多的视频信息，进而提升了获取到的答案的准确性等。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开所述视频问答方法第一实施例的流程图；

图2为本公开所述的时序注意力机制示意图；

图3为本公开所述生成问题的答案的方式示意图；

图4为本公开所述视频问答方法第二实施例的流程图；

图5为本公开所述视频问答装置实施例500的组成结构示意图；

图6示出了可以用来实施本公开的实施例的电子设备600的示意性框图。

具体实施方式