[发明专利]一种基于多尺度语义网络的视听视频解析装置及方法

说明书

本发明提供一种基于多尺度语义网络的视听视频解析方法及装置，用于对目标音视频中所有单模态和多模态事件进行识别和定位，其特征在于，通过对目标音视频进行了预处理得到的视觉特征和音频特征，然后由基于多尺度语义网络构建的视听视频解析模型对视觉特征和音频特征进行识别和定位从而生成目标音视频的所有单模态事件类别、多模态事件类别以及起始时刻。其中，视听视频解析模型包含跨模态时序卷积注意力网络、自适应语义融合模块、分类模块以及基于注意力的多模态多实例学习池化模块，跨模态时序卷积注意力网络用于捕捉多尺度语义，自适应语义融合模块用于多尺度语义的融合，基于注意力的多模态多实例学习模块用于实现弱监督学习。

技术领域

本发明属于人工智能技术领域，具体涉及一种基于多尺度语义网络的视听视频解析装置及方法。

背景技术

在当今的网络环境下，存在着海量的图片、视频、音频等媒体信息，而在人工智能领域中，如何让机器学习并理解上述媒体信息，一直是广受学者研究的重要课题，如计算机视觉领域致力于研究图片和视频的内容理解，自然语言处理领域试图让机器理解人类语言，而语音检测领域主要对声音进行研究和处理。用基于人工智能的方式对媒体信息进行处理，可以高效的从海量数据中提炼有效的信息内容，并加以分析和利用，从而给人们的日常生活带来更大的便利。

在上文诸多媒体信息中，视频是一种广泛的媒介形式，它是将一系列静态影像以电信号的方式加以捕捉、记录、处理、储存、传送与重现的各种技术。网络中存在大量的视频可供用户观看，是否能够理解视频的内容，是网络视频供应商进行精准化视频定制、视频推荐的决定性因素。除此之外，视频理解在视频监控，自动驾驶等领域亦有广泛的应用，因此视频理解是一项意义重大而又富有挑战性的研究领域。

当下，学者们提出了多种视频理解的任务，例如动作识别，该任务要求机器识别出视频中主要动作所属的类别，对视频进行分类并生成标签；以及时序动作检测，该任务要求对视频中的事件进行分类和定位，即预测出事件所属的类别，并给出其起始的时间段；还有动作分割任务，该任务要求对视频中的每一帧进行分类，将一段视频分为若干个事件的集合，该任务要求对视频有帧级别的时序分割，因此需要对视频有更深入、细节的理解。针对上述任务，学者们也给出了多种优秀的解决方式，然而这些任务和方法共有的局限性在于，它们只研究了视频的视觉信息，即只对视频当中的画面进行了分析，而忽略了视频中所天然隐含的声学信息。在视频当中，画面和音频存在天然的时序对应关系，视频的音频部分也隐含了若干有助于视频理解的重要信息。而能否将视频当中的音频和视频信息结合起来，便成为了一个重要而富有前景的新难题。

视听视频解析任务便是一项跨模态的视频理解任务。该任务要求辨别一段视频中的所有单模态和多模态事件，即给出所有事件的类别，以及它们的起始时刻。在该任务中，有些事件只存在于音频中，而有些事件只存在于视频中，也有一些同时存在于音频和视频中的多模态任务，因此该任务需要对多模态信息进行充分的理解和捕获。

现有的视听视频解析方法一般通过时序注意力机制来探究上下文之间的单模态和跨模态关系。然而，现有的方法均是在整个视频长度内进行上下文信息融合。这种方式更倾向于去寻找那些时长较长，在视频中体现较明显的事件。在视听视频解析任务中，视频当中的事件是不定长的，那么有些长度很短的事件就无法很好的检测得出。因此，如何获取多尺度的单模态和跨模态信息，以及如何将获取的多尺度信息有效融合，是完成该任务需要解决的重要难题。

发明内容

为解决上述问题，提供一种获取多尺度模态信息的视听视频解析方法，本发明采用了如下技术方案：